Can you summarize the following document?
        
  一般地,兩個離散隨機變數 "X" 和 "Y" 的互資訊可以定義為:  其中 "p"("x", "y") 是 "X" 和 "Y" 的聯合概率分佈函式,而 formula_2 和 formula_3 分別是 "X" 和 "Y" 的邊緣概率分佈函式。  在連續隨機變數的情形下,求和被替換成了二重定積分:  其中 "p"("x", "y") 當前是 "X" 和 "Y" 的聯合概率"密度"函式,而 formula_2 和 formula_3 分別是 "X" 和 "Y" 的邊緣概率密度函式。  如果對數以 2 為基底,互資訊的單位是bit。  直觀上,互資訊度量 "X" 和 "Y" 共享的資訊:它度量知道這兩個變數其中一個,對另一個不確定度減少的程度。例如,如果 "X" 和 "Y" 相互獨立,則知道 "X" 不對 "Y" 提供任何資訊,反之亦然,所以它們的互資訊為零。在另一個極端,如果 "X" 是 "Y" 的一個確定性函式,且 "Y" 也是 "X" 的一個確定性函式,那麼傳遞的所有資訊被 "X" 和 "Y" 共享:知道 "X" 決定 "Y" 的值,反之亦然。因此,在此情形互資訊與 "Y"(或 "X")單獨包含的不確定度相同,稱作 "Y"(或 "X")的熵。而且,這個互資訊與 "X" 的熵和 "Y" 的熵相同。(這種情形的一個非常特殊的情況是當 "X" 和 "Y" 為相同隨機變數時。)  互資訊是 "X" 和 "Y" 的聯合分佈相對於假定 "X" 和 "Y" 獨立情況下的聯合分佈之間的內在依賴性。 於是互資訊以下面方式度量依賴性:"I"("X"; "Y") = 0 當且僅當 "X" 和 "Y" 為獨立隨機變數。從一個方向很容易看出:當 "X" 和 "Y" 獨立時,"p"("x","y") = "p"("x") "p"("y"),因此:  此外,互資訊是非負的(即 formula_8; 見下文),而且是(即 formula_9)。

  互資訊又可以等價地表示成  其中 formula_11 和 formula_12 是邊緣熵,"H"("X"|"Y") 和 "H"("Y"|"X") 是條件熵,而 "H"("X","Y") 是 "X" 和 "Y" 的聯合熵。注意到這組關係和並集、差集和交集的關係類似,於是用Venn圖表示。  在互資訊定義的基礎上使用琴生不等式,我們可以證明 "I"("X";"Y") 是非負的,因此 formula_13。這裡我們給出 I(X;Y) = H(Y) - H(Y|X) 的詳細推導:  上面其他性質的證明類似。  直觀地說,如果把熵 "H"("Y") 看作一個隨機變數於不確定度的量度,那麼 "H"("Y"|"X") 就是"在已知 "X" 事件後"Y"事件會發生"的不確定度。於是第一個等式的右邊就可以讀作“將"Y事件的不確定度",減去 --- "在基於"X"事件後"Y"事件因此發生的不確定度"”。  這證實了互資訊的直觀意義為: "因X而有Y事件"的熵( 基於已知隨機變數的不確定性) 在"Y事件"的熵之中具有多少影響地位( "Y事件所具有的不確定性" 其中包含了多少 "Y|X事件所具有的不確性" ),意即"Y具有的不確定性"有多少程度是起因於X事件;  所以具體的解釋就是: 互資訊越小,兩個來自不同事件空間的隨機變數彼此之間的關聯性越低; 互資訊越高,關聯性則越高 。  注意到離散情形 "H"("X"|"X") = 0,於是 "H"("X") = "I"("X";"X")。因此 "I"("X";"X") ≥ "I"("X";"Y"),我們可以制定”一個變數至少包含其他任何變數可以提供的與它有關的資訊“的基本原理。  互資訊也可以表示為兩個隨機變數的邊緣分佈 "X" 和 "Y" 的乘積 "p"("x") × "p"("y") 相對於隨機變數的聯合熵 "p"("x","y") 的相對熵:  此外,令 "p"("x"|"y") = "p"("x", "y") / "p"("y")。則  注意到,這裡相對熵涉及到僅對隨機變數 "X" 積分,表示式 formula_17 現在以 "Y" 為變數。於是互資訊也可以理解為相對熵 "X" 的單變數分佈 "p"("x") 相對於給定 "Y" 時 "X" 的條件分佈 "p"("x"|"y") :分佈 "p"("x"|"y") 和 "p"("x") 之間的平均差異越大,資訊增益越大。

  對連續型隨機變數量化的定義如下:  formula_18  量化後的隨機變數formula_19:  formula_20。  則,  formula_21  formula_22  formula_23  廣義而言,我們可以將互資訊定義在有限多個連續隨機變數值域的劃分。  令formula_24為連續型隨機變數的值域,formula_25, 其中formula_26為formula_24劃分所構成的集合,意即formula_28。  以formula_26量化連續型隨機變數formula_30後,所得結果為離散型隨機變數,  formula_31。  對於兩連續型隨機變數X、Y,其劃分分別為P、Q,則其互資訊可表示為:  formula_32。
在概率論和資訊理論中,兩個隨機變數的互資訊(mutual Information,簡稱MI)或轉移資訊(transinformation)是變數間相互依賴性的量度。不同於相關係數,互資訊並不侷限於實值隨機變數,它更加一般且決定著聯合分佈 p(X,Y) 和分解的邊緣分佈的乘積 p(X)p(Y) 的相似程度。互資訊是(PMI)的期望值。互資訊最常用的單位是bit。