Can you summarize the following document?
        
  在資訊理論中, 以直接可解編碼模式通過值formula_28編碼一個資訊片段,使其能在所有可能的formula_29集合中唯一標識該資訊片段,Kraft–McMillan theorem確保這一過程可以被看作一種formula_29上的隱式概率分佈formula_31,從而使得formula_32是formula_28的編碼位長度。 因此, 交叉熵可以看作每個資訊片段在錯誤分佈formula_23下的期望編碼位長度,而資訊實際分佈為formula_22。這就是期望formula_36是基於formula_22而不是formula_23的原因。

  在大多數情況下,我們需要在不知道分佈formula_1的情況下計算其交叉熵。例如在語言模型中, 我們基於訓練集formula_43建立了一個語言模型, 而在測試集合上通過其交叉熵來評估該模型的準確率。formula_1是語料中詞彙的真實分佈,而formula_2是我們獲得的語言模型預測的詞彙分佈。由於真實分佈是未知的,我們不能直接計算交叉熵。在這種情況下,我們可以通過下式來估計交叉熵:  formula_47是測試集大小,formula_48是在訓練集上估計的事件formula_49發生的概率。我們假設訓練集是從formula_50的真實取樣,則此方法獲得的是真實交叉熵的蒙特卡洛估計。
在資訊理論中,基於相同事件測度的兩個概率分佈formula_1和formula_2的交叉熵是指,當基於一個“非自然”(相對於“真實”分佈formula_1而言)的概率分佈formula_2進行編碼時,在事件集合中唯一標識一個事件所需要的平均位元數(bit)。