名稱由來

        信息論將信息的傳遞作為一種統計現象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領域。這兩個方面又由信息傳輸定理、信源－信道隔離定理相互聯繫。

       香農被稱為是「信息論之父」。人們通常將香農於1948年10月發表於《貝爾系統技術學報》上的論文《A Mathematical Theory of Communication》（通信的數學理論）作為現代信息論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利先前的成果。在該文中，香農給出了信息熵（以下簡稱為「熵」）的定義：H = - Σ pilogpi   i

       這一定義可以用來推算傳遞經二進制編碼後的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結構所決定的部分，比如，語言結構的冗余性以及語言中字母、詞的使用頻度等統計特性。

       信息論中熵的概念與物理學中的熱力學熵有著緊密的聯繫。玻耳茲曼與吉布斯在統計物理學中對熵做了很多的工作。信息論中的熵也正是受之啟發。

       互信息(Mutual Information)是另一有用的信息度量，它是指兩個事件集合之間的相關性。兩個事件X和Y的互信息定義為：I(X,Y) = H(X) + H(Y) - H(X,Y)

其中H(X,Y) 是聯合熵(Joint Entropy)，其定義為：H(X,Y) = - Σ p(x,y)logp(x,y)   x,y

       互信息與多元對數似然比檢驗以及皮爾森χ2校驗有著密切的聯繫。

信息論概述

       信息論是一門用數理統計方法來研究信息的度量、傳遞和變換規律的科學。它主要是研究通訊和控制系統中普遍存在著信息傳遞的共同規律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎理論。

研究範圍

       信息論的研究範圍極為廣闊。一般把信息論分成三種不同類型：

(1)狹義信息論是一門應用數理統計方法來研究信息處理和信息傳遞的科學。它研究存在於通訊和控制系統中普遍存在著的信息傳遞的共同規律，以及如何提高各信息傳輸系統的有效性和可靠性的一門通訊理論。

(2)一般信息論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預測、調製與信息處理等問題。

(3)廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關的領域，如心理學、語言學、神經心理學、語義學等。

信息的定義域

信息是確定性的增加----逆Shannon信息定義；

信息是物質、能量、信息的標示----Wiener信息定義的逆;

信息是事物及其屬性標識的集合。

　

　

一、信息的定義

非世界三要素的信息定義:信息是事物及其屬性標識的集合。不含世界三要素的的信息定義.

含三要素的信息定義：

1．信息是確定性的增加----逆Shannon信息定義；

2．信息就是信息，信息是物質、能量、信息及其屬性的標示----Wiener信息定義的逆.

       信息（information）是客觀事物狀態和運動特徵的一種普遍形式，客觀世界中大量地存在、產生和傳遞著以這些方式表示出來的各種各樣的信息。然而，這只是對於我們所生活的三維空間而言的，信息還有更深藏的本質。那麼，難道信息還存在於四維空間（這裡所說的四維空間不包括時間，而是空間的四維狀態）中嗎？是的，但要明確一點，信息只存在於四維空間，三維空間中的信息只是四維空間中真實信息的影子。信息大量存在於四維空間中，其本質是在四維空間中存在的一種信息子（informer，假想的存在於四維空間的組成信息的基本單位）的規則排布。

信息是事件（corritor）發生的根本原因，這將在第三節中細作分析。

二、信息的性質

       信息有以下性質：客觀性、廣泛性、完整性、專一性。首先，信息是客觀存在的，它不是由意志所決定的，但它與人類思想有著必然聯繫（第四節將具體分析）。同時，信息又是廣泛存在的，四維空間被大量信息子所充斥。信息的一個重要性質是完整性，每個信息子不能決定任何事件，須有兩個或兩個以上的信息子規則排布為完整的信息，其釋放的能量才足以使確定事件發生。信息還有專一性，每個信息決定一個確定事件，但相似事件的信息也有相似之處，其原因的解釋需要信息子種類與排布密碼理論的進一步發現。

三、信息論機制

       在平常狀態下，信息子雜亂無章地分佈於四維空間中。當三維空間中的分子摩擦碰撞時，其中的能量逃逸到四維空間中，啟動了信息子的規則排布，排布好的信息子又將能量釋放出來，進入三維空間，引起其他分子的摩擦碰撞，如此循環下去。如果被引起摩擦碰撞的分子恰好是決子（decider，決定事件的因子，如引起神經衝動的鈉鉀離子、引起雷電的電荷），並且有一定物質的量的決子被引起摩擦碰撞時，事件發生。當然，不同分子摩擦碰撞產生的能量不同，其引起的信息子的排布形式的種類也不同，因而決定的事件也不同。

       然而，在宇宙爆炸前只有信息存在，一個決定因素（現在還不瞭解這個因素是什麼）導致了信息子的偶然規則排布，一部分信息子轉化為能量（信息子轉化為能量是有一定條件的，這只有在宇宙爆炸前或初期才能實現），能量再在一定條件下轉化為物質，並繼續轉移轉化，最終形成了我們現在的宇宙。因此，信息子的有序排布是事件發生的根本原因，物質摩擦碰撞是事件發生的直接原因，而能量的傳遞是事件發生的必要條件。

四、信息論假說的實例

       1．思想與記憶：思想是我們一直捉摸不透的東西，而按照信息論假說來講，思想其實就是一種信息。大腦中的某些特定分子摩擦碰撞，引起了某些信息子的規則排布，在三維空間中的表現就是產生電流，引起腦細胞的活動，這便是思想的本質，當然，不同信息表現出不同思想。然而，這不等於我們的思想是早已限定好了的嗎？其實就是這樣。只不過我們腦中分子數量是龐大的，其能引起信息子的排布形式的種類是極其多的，我們現在的思想不過也只開發了很少一部分。

現實中我們所謂的思想還要有另一個因素，那就是需要通過一個完整複雜的調節機制將其表達出來，這個調節機制對於人類來說便是神經系統，因此只有我們能將複雜的思想表達出來。記憶是思想的特化，是信息引起摩擦碰撞的分子恰好是以前產生思想的分子（記憶的決子）時，以前的思想便會再次通過特定信息子的規則排布表達出來。這樣看來，我們的思想是連續的，前一刻的思想直接決定了後一刻的思想，只是我們並沒發覺也沒有手段去發現罷了。

2．生命現象：人的生老病死也可以通過信息論假說來解釋。人生病其實是不融合分子（細菌或病毒）與體內分子摩擦引起的信息。成長其實是各種各樣的外界分子（如鈣離子）進入人體內與體內分子摩擦引起的信息。衰老與死亡是細胞內分子摩擦引起的信息，其宏觀表現為細胞的衰老與凋亡，進而影響人。
　

3．預感與巧合：預感是思想的一種極特殊的形式，當腦中某些分子摩擦引起信息子排布後，信息並未釋放全部能量，而是只將其中一部分能量先釋放出來，引起預感決子的摩擦，剩下的能量則在另外的時刻釋放出來，並由於與前一部分能量同源，恰好引起事件決子的摩擦，從而印證了預感。巧合也是一種極特殊的現象，其本質是信息釋放的能量分為兩半進入到三維空間中的不同地點，引發相同分子的摩擦，從而引起不同地點相同事情的發生，這一般出現在同卵雙胞胎身上，因為其基因的相似性決定了其相同分子摩擦的幾率較大。

4．夢與不實印象（untrue impressions）：夢是在無意識情況下產生的思想，其本質也是信息。我們平時會產生不實印象，看到某情景感覺以前似乎發生過，可是以前卻並沒有發生，其實這是因為腦內分子摩擦引起信息，而信息並沒有將能量馬上釋放出來，而是暫時儲存起來，當另一時刻又有同樣的分子摩擦時，其能量被激活，雙倍能量釋放出來，其中一半能量使我們思想，另一半能量使我們產生印象，這便是不實印象的本質。

5．化學反應：一切化學反應的本質都是信息。幾種分子摩擦引起特定信息，又引起其他分子摩擦，在摩擦中化學鍵斷裂與形成，完成化學反應。

6．命運與靈魂：古人相信命運，可能是冥冥之中感到在另一空間中我們是早已被安排好的個體，於是出現了人類對靈魂、神的遐想。

五、信息論假說的意義

信息論假說將物質與思想相統一，它是唯物主義發展所必經的一步，它用唯物的觀點解釋了人類一直無法弄清的問題。它自身只是一個假說，需要人類長時間去探索與證明，它自身也存在缺陷，需要人類的不斷發現。也許它本來就是個錯誤，但它是人類成長的見證，是人類偉大的精神財富。

用信息論假說的觀點看問題，可以使人類認識到一個全新的世界，並有助於探索世界更深的本質。它給人類提供了一個豐富的經驗，是人類跳出固有思想看問題的典範。總之，不管它是否正確，它都是人類的不朽之作。

　

　

        編碼理論是數學和計算機科學的一個分支，處理在噪聲信道傳送資料時的錯誤傾向。按照編碼理論，資料傳送時會採用更好的方法以修正傳送途中所產生的大量錯誤。

       編碼共分兩類：信源編碼(數據壓縮[也叫：數據壓縮])和信道編碼(前向糾錯)。

       編碼理論，研究信息傳輸過程中信號編碼規律的數學理論。編碼理論與信息論、數理統計、概率論、隨機過程、線性代數、近世代數、數論、有限幾何和組合分析等學科有密切關係，已成為應用數學的一個分支。編碼是指為了達到某種目的而對信號進行的一種變換。其逆變換稱為譯碼或解碼。根據編碼的目的不同，編碼理論有三個分支：１信源編碼。對信源輸出的信號進行變換，包括連續信號的離散化，即將模擬信號通過採樣和量化變成數字信號,以及對數據進行壓縮,提高數字信號傳輸的有效性而進行的編碼。２信道編碼。對信源編碼器輸出的信號進行再變換，包括區分通路、適應信道條件和提高通信可靠性而進行的編碼。３保密編碼。對信道編碼器輸出的信號進行再變換，即為了使信息在傳輸過程中不易被人竊取而進行的編碼。編碼理論在數字化遙測遙控系統、電氣通信、數字通信、圖像通信、衛星通信、深空通信、計算技術、數據處理、圖像處理、自動控制、人工智能和模式識別等方面都有廣泛的應用。

　

　

        信源編碼 廣義的信源編碼包括模數轉換（即把模擬量變換成二進制的數字量）和數據壓縮（即對這些數字量進行編碼來降低數碼率）兩個方面。信源編碼的主要任務是壓縮數據。它有四種基本方法：１匹配編碼。

       這種方法是根據編碼對象的出現概率（概率分佈），分別給予不同長短的代碼，出現概率越大，所給代碼長度越短。這裡所謂匹配就是指代碼長度與概率分佈相匹配。莫爾斯碼是一種匹配編碼。匹配編碼還常採用去相關性的方法進一步壓縮數據。２變換編碼。這種方法是先對信號進行變換，從一種信號空間變換成另一種信號空間，然後針對變換後的信號進行編碼。

       變換編碼在話音和圖像編碼中有廣泛的應用。目前常用的變換編碼有預測編碼和函數編碼兩類。預測編碼是根據信號的一些已知情況來預測信號即將發生的變化。它不傳送信號的採樣值，而傳送信號的採樣值與預測值之差。預測編碼用在數字電話和數字電視中。函數變換最常用的是快速傅裡葉變換 (FFT)、餘弦變換、沃爾什變換、哈爾變換和阿達馬變換等。通過變換可得到信號的頻譜特性，因而可根據頻譜特點來壓縮數碼。３矢量編碼。這種方法是將可能傳輸的消息分類按地址存儲在接收端的電子計算機數據庫中，發送端只發送數據庫的地址，即可查出消息的內容，從而大大壓縮發送的數據。

４識別編碼。這種方法主要用於有標準形狀的文字、符號和數據的編碼。但話音也可以進行識別編碼。識別編碼的作用不僅限於壓縮數據，它在模式識別中也有廣泛的應用。常用的識別方法有關聯識別和邏輯識別等方法。識別編碼可大大壓縮數據。例如，用話音識別的方法傳輸話音，平均數碼率小於100比特／秒。而用Δ調製話音的方法傳輸話音,數碼率達38400比特／秒。兩者相差約400倍。但識別編碼在恢復時是根據一個代碼恢復一個標準聲音，只能用於不必知道發話人是誰的特殊電話和問答裝置。識別編碼用於文字傳輸時，恢復出來的都是印刷體符號，只能用於普通電報。
　

信道編碼 信道編碼的主要任務是為了區分通路和增加通信的可靠性。以區分通路為主要目的的編碼常採用正交碼。以增加通信可靠性為主要目的的編碼常採用糾錯碼。正交碼也具有很強的抗干擾能力。在信道編碼中也採用檢錯碼。