Can you summarize the following document?
        
  馬爾可夫鏈是離散狀態、離散時間的馬爾可夫過程。

  馬爾可夫鏈是滿足馬爾可夫性質的隨機變數序列"X", "X", "X",...,即給出當前狀態,將來狀態和過去狀態是相互獨立的。從形式上看,  "X"的可能值構成的可數集"S"叫做該鏈的“狀態空間”。  通常用一系列有向圖來描述馬爾可夫鏈,其中圖"n"的邊用從時刻"n"的狀態到時刻"n+1"的狀態的概率formula_3來標記。也可以用從時刻"n"到時刻"n+1"的轉移矩陣表示同樣的資訊。但是,馬氏鏈常常被假定為時齊的(見下文的變種),在這種情況下,圖和矩陣與"n"無關,因此也不表現為序列。  這些描述強調了馬爾可夫鏈與初始分佈formula_4無關這一結構。當時齊的時候,可以認為馬氏鏈是分配從一個頂點或狀態跳變到相鄰一個的概率的狀態機。可以把機器狀態的概率formula_5作為僅有元素formula_6的狀態空間為輸入的機器的統計行為分析,或作為初始分佈為formula_7狀態為輸入的機器行為,其中formula_8是艾佛森括號。  一些狀態序列可能會有零概率的事件,對應多的圖,而我們禁止轉移概率為0的邊。例如,若"a"到"b"的概率非零,但"a"到"x"位於圖的不同連通分量,那麼formula_9有意義,而formula_10無意義。

  用"n"步從狀態"i"到狀態"j"的概率為  而單步轉移是  對於一個時齊馬爾可夫鏈來說:  而  "n"步轉移概率滿足查普曼-科爾莫戈羅夫等式,對任意"k"使得0 < "k" < "n",  其中"S"為此馬爾可夫鏈的狀態空間。  邊緣分佈Pr("X" = "x")為第"n"次狀態的分佈。初始分佈為Pr("X" = "x")。用一步轉移把過程演變描述為  注意:上標("n")是索引而非指數。

  

  馬爾可夫鏈是由一個條件分佈來表示的  這被稱為是隨機過程中的“轉移概率”。這有時也被稱作是“一步轉移概率”。二、三,以及更多步的轉移概率可以導自一步轉移概率和馬爾可夫性質:  同樣,  這些式子可以通過乘以轉移概率並求formula_22次積分來一般化到任意的將來時間formula_23。

  邊緣分佈formula_24是在時間為formula_25時的狀態的分佈。初始分佈為formula_26。該過程的變化可以用以下的一個時間步幅來描述:  這是Frobenius-Perron equation的一個版本。這時可能存在一個或多個狀態分佈formula_28滿足  其中formula_30只是為了便於對變數積分的一個名義。這樣的分佈formula_28被稱作是“平穩分佈”(Stationary Distribution)或者“穩態分佈”(Steady-state Distribution)。一個平穩分佈是一個對應於特徵值為formula_32的條件分佈函式的特徵方程。  平穩分佈是否存在,以及如果存在是否唯一,這是由過程的特定性質決定的。“不可約”是指每一個狀態都可來自任意的其它狀態。當存在至少一個狀態經過一個固定的時間段後連續返回,則這個過程被稱為是“週期的”。

  具有重現性而不具有週期性叫做遍歷的。重現性包括區域性重現性。

  若狀態空間是有限的,則轉移概率分佈可以矩陣表示,該矩陣稱為轉移矩陣,記為P。其中處於formula_33的元素等於  由於P的每一行各元素之和為1,且P中所有的元素都是非負的,因此P是一個右隨機矩陣。

  穩定分佈π是一個(行)向量,它的元素都非負且和為1,不隨施加P操作而改變,定義為  通過將這個定義與特徵向量進行比較,我們看到,這兩個概念是相關的,並且  是由(formula_37)歸一化的轉移矩陣P的左特徵向量 e的倍數,其特徵值為1。如果有多個單位特徵向量那麼相應穩態的加權和也是穩態。但對於馬爾可夫鏈來說,我們更關心的是作為一些對初始分佈的序列分佈的極限的穩態。  穩定分佈formula_38的值與狀態空間P有關,它的特徵向量保留各自的相對比例。因為π的成分為正且滿足約束條件formula_39,我們發現π與一個成分全為1的向量的點積是統一的,、π位於一個單純形上。

  對於一個離散狀態空間,formula_40步轉移概率的積分即為求和,可以對轉移矩陣求formula_40次冪來求得。就是說,如果formula_42是一步轉移矩陣,formula_43就是formula_40步轉移後的轉移矩陣。  如果轉移矩陣formula_42不可約,並且是非週期的,則formula_43收斂到一個每一列都是不同的平穩分佈formula_47,並且,  獨立於初始分佈formula_28。這是由Perron-Frobenius theorem所指出的。  正的轉移矩陣(即矩陣的每一個元素都是正的)是不可約和非週期的。矩陣被稱為是一個隨機矩陣,當且僅當這是某個馬爾可夫鏈中轉移概率的矩陣。  注意:在上面的定式化中,元素formula_33是由j轉移到i的概率。有時候一個由元素formula_33給出的等價的定式化等於由i轉移到j的概率。在此情況下,轉移矩陣僅是這裡所給出的轉移矩陣的轉置。另外,一個系統的平穩分佈是由該轉移矩陣(每列的和為1)的右特徵向量給出的,而不是左特徵向量。  轉移概率獨立於過去的特殊況為熟知的Bernoulli scheme。僅有兩個可能狀態的Bernoulli scheme被熟知為伯努利過程

  可反轉馬爾可夫鏈類似於應用貝葉斯定理來反轉一個條件概率: 以上就是反轉的馬爾可夫鏈。因而,如果存在一個π,使得:  那麼這個馬爾可夫鏈就是可反轉的。  這個條件也被稱為細緻平衡(detailed balance)條件。  對於所有的"i"求和:  所以,對於可反轉馬爾可夫鏈,"π"總是一個平穩分佈。

  伯努利方案是馬爾可夫鏈的一種特殊情形,其轉移概率矩陣有相同的行,即下一狀態均勻獨立於當前狀態(除了獨立於過往狀態以外)。 僅有兩個可能狀態的伯努利方案是伯努利過程。

  對於一般狀態空間上的馬爾可夫鏈的概述,詳見文章狀態空間可測的馬爾可夫鏈。

  

  馬爾可夫系統廣泛出現在熱力學和統計力學中,

  隱馬爾科夫模型是大多數現代自動語音識別系統的基礎。

  谷歌所使用的網頁排序演算法(PageRank)就是由馬爾可夫鏈定義的。如果formula_55 是已知的網頁數量,一個頁面formula_56 有formula_57 個連結到這個頁面,那麼它到連結頁面的轉換概率為formula_58,到未連結頁面的概率為formula_59, 引數formula_60 的取值大約為0.85。  馬爾可夫模型也被應用於分析使用者瀏覽網頁的行為。一階或者二階的馬爾可夫模型可以用於對一個使用者從某一網路連結轉移到另一連結的行為進行建模,然後這些模型可以用於對使用者之後的瀏覽行為進行預測。

  馬爾科夫鏈可以應用於金融與經濟中一系列現象的建模,包括資產價值與市場衝擊。1974年Prasad等人第一次應用馬爾科夫鏈於金融模型,另一個是James D. Hamilton 1989年應用的機制轉換模型,其中馬爾科夫鏈用來對高GDP增長速度時期與低GDP增長速度時期(換言之,經濟擴張與緊縮)的轉換進行建模。

  馬爾可夫鏈也有眾多的生物學應用,特別是增殖過程,可以幫助模擬生物增殖過程的建模。隱蔽馬爾可夫模型還被用於生物資訊學,用以編碼區域或基因預測(見哈代-溫伯格定律。)

  馬爾可夫過程,能為給定樣品文字,生成粗略,但看似真實的文字:他們被用於眾多供消遣的“模仿生成器”軟體。馬爾可夫鏈還被用於譜曲。

  用於計算馬爾可夫信源的極限熵

  馬爾可夫在1906年首先做出了這類過程。而將此一般化到可數無限狀態空間是由俄國數學家柯爾莫果洛夫()在1936年給出的。馬爾可夫鏈與布朗運動以及遍歷假說這兩個二十世紀初期物理學重要課題是相聯絡的,但馬爾可夫尋求的似乎不僅於數學動機,名義上是對於縱屬事件大數法則的擴張。
馬爾可夫鏈(英語:Markov chain),又稱離散時間馬可夫鏈(discrete-time Markov chain,縮寫為DTMC),因俄國數學家安德烈·馬爾可夫得名,為狀態空間中經過從一個狀態到另一個狀態的轉換的隨機過程。該過程要求具備“無記憶”的性質:下一狀態的概率分佈只能由當前狀態決定,在時間序列中它前面的事件均與之無關。這種特定型別的“無記憶性”稱作馬可夫性質。馬爾科夫鏈作為實際過程的統計模型具有許多應用。