該文奠定了資訊理論的基礎,提出了資訊熵、通道容量等核心概念,對理解現代通信系統意義重要。
信息是减少不确定性的任何事物。
資訊理論(information theory)是應用數學、電子學和電腦科學的一個分支,涉及資訊的量化、儲存和通訊等。資訊理論是由克勞德·夏農發展來找出訊號處理、通訊操作的基本限制,如資料壓縮、可靠的儲存和資料傳輸等。它已拓展到統計推論、自然語言處理、密碼學、神經生物學[1]、進化論[2]和分子編碼的功能[3]、生態學的模式選擇[4]、熱物理[5]、量子計算、語言學、剽竊檢測[6]、模式辨識、異常檢測和其他形式的資料分析等領域。
熵是資訊的一個關鍵度量,通常用一條訊息中需要儲存或傳輸一個符號的平均位元數來表示。熵衡量了預測隨機變數的值時涉及到的不確定度的量。例如,指定擲硬幣的結果(兩個等可能的結果)比指定擲骰子的結果(六個等可能的結果)所提供的資訊量更少(熵更少)。
資訊理論將資訊的遞移作為一種統計現象來考慮,給出了估算通訊頻道容量的方法。資訊傳輸和資訊壓縮是資訊理論研究中的兩大領域。這兩個方面又由頻道編碼定理、信源-頻道隔離定理相互聯絡。
資訊理論的基本內容的應用包括無失真資料壓縮(如ZIP檔案)、有損資料壓縮(如MP3和JPEG)、頻道編碼(如數位使用者線路(DSL))。這個領域處在數學、統計學、電腦科學、物理學、神經科學和電機工程學的交叉點上。資訊理論對航海家深空探測任務的成敗、光碟的發明、手機的可行性、網際網路的發展、語言學和人類感知的研究、對黑洞的了解,以及許多其他領域都影響深遠。資訊理論的重要子領域有信源編碼、頻道編碼、演算法複雜性理論、演算法資訊理論、資訊理論安全性和資訊度量等。
資訊理論的主要內容可以類比人類最廣泛的交流手段——語言來闡述。
一種簡潔的語言(以英語為例)通常有兩個重要特點: 首先,最常用的詞(比如"a"、"the"、"I")應該比不太常用的詞(比如"benefit"、"generation"、"mediocre")要短一些;其次,如果句子的某一部分被漏聽或者由於雜訊干擾(比如一輛車輛疾馳而過)而被誤聽,聽者應該仍然可以抓住句子的大概意思。而如果把電子通訊系統比作一種語言的話,這種健壯性(robustness)是不可或缺的。將健壯性引入通訊是通過頻道編碼完成的。信源編碼和頻道編碼是資訊理論的基本研究課題。
注意這些內容同訊息的重要性之間是毫不相干的。例如,像「多謝;常來」這樣的客套話與像「救命」這樣的緊急請求在說起來、或者寫起來所花的時間是差不多的,然而明顯後者更重要,也更有實在意義。資訊理論卻不考慮一段訊息的重要性或內在意義,因為這些是資料的品質的問題而不是資料量(資料的長度)和可讀性方面上的問題,後者只是由機率這一因素單獨決定的。
資訊熵
通常將夏農的論文作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利於1920年代先後發表的研究成果。該文給出了資訊熵的定義:
H(X)=EX[I(x)]=∑x∈Xp(x)log2(1p(x))
其中
上的隨機變數。資訊熵是隨機事件不確定性的度量。
資訊熵與物理學中的熱力學熵有著緊密的聯絡:
S(X)=kBH(X)
{\displaystyle S(X)=k_{B}H(X)}
其中S(X)為熱力學熵,H(X)為資訊熵,
波茲曼常數。 事實上這個關係也就是廣義的