Can you summarize the following document?
        
  資訊理論的主要內容可以類比人類最廣泛的交流手段——語言來闡述。  一種簡潔的語言(以英語為例)通常有兩個重要特點: 首先,最常用的詞(比如"a"、"the"、"I")應該比不太常用的詞(比如"benefit"、"generation"、"mediocre")要短一些;其次,如果句子的某一部分被漏聽或者由於噪聲干擾(比如一輛車輛疾馳而過)而被誤聽,聽者應該仍然可以抓住句子的大概意思。而如果把電子通訊系統比作一種語言的話,這種健壯性(英語:robustness)是不可或缺的。將健壯性引入通訊是通過通道編碼完成的。信源編碼和通道編碼是資訊理論的基本研究課題。  注意這些內容同訊息的重要性之間是毫不相干的。例如,像“多謝;常來”這樣的客套話與像“救命”這樣的緊急請求在說起來、或者寫起來所花的時間是差不多的,然而明顯後者更重要,也更有實在意義。資訊理論卻不考慮一段訊息的重要性或內在意義,因為這些是資料的質量的問題而不是資料量(資料的長度)和可讀性方面上的問題,後者只是由概率這一因素單獨決定的。

  

  美國數學家克勞德·夏農被稱為“資訊理論之父”。人們通常將夏農於1948年10月發表於《貝爾系統技術學報》上的論文《通訊的數學理論》作為現代資訊理論研究的開端。這一文章部分基於哈里·奈奎斯特和拉爾夫·哈特利於1920年代先後發表的研究成果。在該文中,夏農給出了資訊熵的定義:  其中formula_2為有限個事件x的集合,formula_3是定義在formula_2上的隨機變數。資訊熵是隨機事件不確定性的度量。  資訊熵與物理學中的熱力學熵有著緊密的聯絡:  其中S(X)為熱力學熵,H(X)為資訊熵,formula_6為波茲曼常數。 事實上這個關係也就是廣義的波茲曼熵公式,或是在正則系綜內的熱力學熵表示式。如此可知,玻爾茲曼與吉布斯在統計物理學中對熵的工作,啟發了資訊理論的熵。  資訊熵是信源編碼定理中,壓縮率的下限。當我們用少於資訊熵的資訊量做編碼,那麼我們一定有資訊的損失。夏農在大數定律和漸進均分性的基礎上定義了典型集和典型序列。典型集是典型序列的集合。因為一個獨立同分布的formula_3序列屬於由formula_3定義的典型集的機率大約為1,所以只需要將屬於典型集的無記憶formula_3信源序列編為唯一可譯碼,其他序列隨意編碼,就可以達到幾乎無損失的壓縮。

  若S為一個三個面的骰子,  P(面一)=1/5,  P(面二)=2/5,  P(面三)=2/5  formula_10

  聯合熵(英語:Joint Entropy)由熵的定義出發,由聯合分佈,我們有:  條件熵(英語:Conditional Entropy),顧名思義,從條件機率p(y|x)做定義:  因為由貝氏定理,我們有formula_13,帶入聯合熵的定義,可以分離出條件熵,於是得到聯合熵與條件熵的關係式:

  我們可以再對聯合熵與條件熵的關係做推廣,假設現在有n個隨機變數formula_15,重複分離出條件熵,我們有:  他的意義顯而易見,假如我們接收一段數列formula_17,且先收到formula_18,再來是formula_19,依此類推。那麼收到formula_18後總訊息量為formula_21,收到formula_19後總訊息量為formula_23,直到收到formula_24後我們的總訊息量應為formula_25,於是這個接收過程中就給出了鏈式法則。

  互資訊(英語:Mutual Information)是另一有用的資訊度量,它是指兩個事件集合之間的相關性。兩個事件formula_3和formula_27的互資訊定義為:  其意義為,若我們想知道formula_27包含多少formula_3的資訊,在尚未得到formula_27之前,我們的不確定性是formula_32,得到Y後,不確定性是formula_33。所以一旦得到formula_27後,我們消除了formula_35的不確定量,這就是Y對X的資訊量。  如果formula_36互為獨立,則formula_37,於是formula_38。  又因為formula_39,所以  互資訊與G檢驗以及皮爾森卡方檢驗有著密切的聯絡。

  資訊理論被廣泛應用在:
資訊理論(英語:information theory)是應用數學、電子學和電腦科學的一個分支,涉及資訊的量化、儲存和通訊等。資訊理論是由克勞德·夏農發展,用來找出訊號處理與通訊操作的基本限制,如資料壓縮、可靠的儲存和資料傳輸等。自創立以來,它已拓展應用到許多其他領域,包括統計推斷、自然語言處理、密碼學、神經生物學、進化論和分子編碼的功能、生態學的模式選擇、熱物理、量子計算、語言學、剽竊檢測、模式識別、異常檢測和其他形式的資料分析。