Can you summarize the following document?
        
  下邊的討論要求讀者熟悉概率論中的基本定義,如概率分佈、概率密度函式、隨機變數、數學期望等。讀者還須先熟悉連續實函式的基本技巧,比如使用微分來求一個函式的極值(即極大值或極小值)。 同時,讀者須先擁有似然函式的背景知識,以瞭解最大似然估計的出發點及應用目的。

  給定一個概率分佈formula_1,已知其概率密度函式(連續分佈)或概率質量函式(離散分佈)為formula_2,以及一個分佈引數formula_3,我們可以從這個分佈中抽出一個具有formula_4個值的取樣formula_5,利用formula_2計算出其似然函式:  若formula_1是離散分佈,formula_9即是在引數為formula_3時觀測到這一取樣的概率。若其是連續分佈,formula_9則為formula_5聯合分佈的概率密度函式在觀測值處的取值。一旦我們獲得formula_5,我們就能求得一個關於formula_3的估計。最大似然估計會尋找關於formula_3的最可能的值(即,在所有可能的formula_3取值中,尋找一個值使這個取樣的“可能性”最大化)。從數學上來說,我們可以在formula_3的所有可能取值中尋找一個值使得似然函式取到最大值。這個使可能性最大的formula_18值即稱為formula_3的最大似然估計。由定義,最大似然估計是樣本的函式。

  

  考慮一個拋硬幣的例子。假設這個硬幣正面跟反面輕重不同。我們把這個硬幣拋80次(即,我們獲取一個取樣formula_22並把正面的次數記下來,正面記為H,反面記為T)。並把丟擲一個正面的概率記為formula_23,丟擲一個反面的概率記為formula_24(因此,這裡的formula_23即相當於上邊的formula_3)。假設我們丟擲了49個正面,31個反面,即49次H,31次T。假設這個硬幣是我們從一個裝了三個硬幣的盒子裡頭取出的。這三個硬幣丟擲正面的概率分別為formula_27, formula_28, formula_29.這些硬幣沒有標記,所以我們無法知道哪個是哪個。使用最大似然估計,基於二項分佈中的概率質量函式公式,通過這些試驗資料(即取樣資料),我們可以計算出哪個硬幣的可能性最大。這個似然函式取以下三個值中的一個:  我們可以看到當formula_31時,似然函式取得最大值。 顯然地,這硬幣的公平性和那種丟擲後正面的機率是2/3的硬幣是最接近的。這就是formula_23的最大似然估計。

  現在假設例子1中的盒子中有無數個硬幣,對於formula_33中的任何一個formula_23, 都有一個丟擲正面概率為formula_23的硬幣對應,我們來求其似然函式的最大值:  其中formula_33. 我們可以使用微分法來求極值。方程兩邊同時對formula_23取微分,並使其為零。  其解為formula_40, formula_41,以及formula_42.使可能性最大的解顯然是formula_42(因為formula_40和formula_41這兩個解會使可能性為零)。因此我們說最大似然估計值為formula_46.  這個結果很容易一般化。只需要用一個字母formula_47代替49用以表達伯努利試驗中的被觀察資料(即樣本)的“成功”次數,用另一個字母formula_4代表伯努利試驗的次數即可。使用完全同樣的方法即可以得到最大似然估計值:  對於任何成功次數為formula_47,試驗總數為formula_4的伯努利試驗。

  最常見的連續概率分佈是正態分佈,其概率密度函式如下:  現在有formula_4個正態隨機變數的取樣點,要求的是一個這樣的正態分佈,這些取樣點分佈到這個正態分佈可能性最大(也就是概率密度積最大,每個點更靠近中心點),其formula_4個正態隨機變數的取樣的對應密度函式(假設其獨立並服從同一分佈)為:  或:  這個分佈有兩個引數:formula_57.有人可能會擔心兩個引數與上邊的討論的例子不同,上邊的例子都只是在一個引數上對可能性進行最大化。實際上,在兩個引數上的求最大值的方法也差不多:只需要分別把可能性formula_58在兩個引數上最大化即可。當然這比一個引數麻煩一些,但是一點也不復雜。使用上邊例子同樣的符號,我們有formula_59.  最大化一個似然函式同最大化它的自然對數是等價的。因為自然對數log是一個連續且在似然函式的值域內嚴格遞增的上凸函式。[注意:可能性函式(似然函式)的自然對數跟資訊熵以及Fisher資訊聯絡緊密。]求對數通常能夠一定程度上簡化運算,比如在這個例子中可以看到:  這個方程的解是formula_61.這的確是這個函式的最大值,因為它是formula_62裡頭惟一的一階導數等於零的點並且二階導數嚴格小於零。  同理,我們對formula_63求導,並使其為零。  這個方程的解是formula_65.  因此,其關於formula_59的"最大似然估計"為:

  

  如果formula_68是formula_3的一個最大似然估計,那麼formula_70的最大似然估計是formula_71。函式"g"無需是一個雙射。

  最大似然估計函式在取樣樣本總數趨於無窮的時候達到最小方差(其證明可見於Cramer-Rao lower bound)。當最大似然估計非偏時,等價的,在極限的情況下我們可以稱其有最小的均方差。 對於獨立的觀察來說,最大似然估計函式經常趨於正態分佈。

  最大似然估計的偏差是非常重要的。考慮這樣一個例子,標有"1"到"n"的"n"張票放在一個盒子中。從盒子中隨機抽取票。如果"n"是未知的話,那麼"n"的最大似然估計值就是抽出的票上標有的"n",儘管其期望值的只有formula_72.為了估計出最高的"n"值,我們能確定的只能是"n"值不小於抽出來的票上的值。

  最大似然估計最早是由羅納德·費雪在1912年至1922年間推薦、分析並大範圍推廣的。(雖然以前高斯、拉普拉斯、T. N. Thiele和F. Y. 埃奇沃思也使用過)。 許多作者都提供了最大似然估計發展的回顧。  大部分的最大似然估計理論都在貝葉斯統計中第一次得到發展,並被後來的作者簡化。
在統計學中,最大似然估計(英語:maximum likelihood estimation,縮寫為MLE),也稱極大似然估計、最大概似估計,是用來估計一個概率模型的引數的一種方法。