Can you summarize the following document?
        
  基本的強化學習模型包括:  規則通常是隨機的。主體通常可以觀察即時獎勵和最後一次轉換。在許多模型中,主體被假設為可以觀察現有的環境狀態,這種情況稱為“完全可觀測”(full observability),反之則稱為“部分可觀測”(partial observability)。通常,主體被允許的動作是有限的,例如,在棋盤中棋子只能上、下、左、右移動,或是使用的錢不能多於所擁有的。  強化學習的主體與環境基於離散的時間步作用。在每一個時間formula_3,主體接收到一個觀測formula_4,通常其中包含獎勵formula_5。然後,它從允許的集合中選擇一個動作formula_6,然後送出到環境中去。環境則變化到一個新的狀態formula_7,然後決定了和這個變化formula_8相關聯的獎勵formula_9。強化學習主體的目標,是得到儘可能多的獎勵。主體選擇的動作是其歷史的函式,它也可以選擇隨機的動作。  將這個主體的表現和自始自終以最優方式行動的主體相比較,它們之間的行動差異產生了“悔過”的概念。如果要接近最優的方案來行動,主體必須根據它的長時間行動序列進行推理:例如,要最大化我的未來收入,我最好現在去上學,雖然這樣行動的即時貨幣獎勵為負值。  因此,強化學習對於包含長期反饋的問題比短期反饋的表現更好。它在許多問題上得到應用,包括機器人控制、電梯排程、電信通訊、雙陸棋和西洋跳棋。  強化學習的強大能來源於兩個方面:使用樣本來優化行為,使用函式近似來描述複雜的環境。它們使得強化學習可以使用在以下的複雜環境中:

  強化學習需要比較聰明的探索機制,直接隨機的對動作進行取樣的方法效能比較差。雖然小規模的馬氏過程已經被認識的比較清楚,這些性質很難在狀態空間規模比較大的時候適用,這個時候相對簡單的探索機制是更加現實的。  其中的一種方法就是 formula_10-貪婪演算法,這種方法會以比較大的概率(1-formula_10)去選擇現在最好的動作。如果沒有選擇最優動作,就在剩下的動作中隨機選擇一個。formula_10 在這裡是一個可調節的引數,更小的 formula_10 意味著演算法會更加貪心。
強化學習(英語:Reinforcement learning,簡稱英語:RL)是機器學習中的一個領域,強調如何基於環境而行動,以取得最大化的預期利益。其靈感來源於心理學中的行為主義理論,即有機體如何在環境給予的獎勵或懲罰的刺激下,逐步形成對刺激的預期,產生能獲得最大利益的習慣性行為。這個方法具有普適性,因此在其他許多領域都有研究,例如博弈論、控制論、運籌學、資訊理論、模擬優化、多主體系統學習、群體智慧、統計學以及遺傳演算法。在運籌學和控制理論研究的語境下,強化學習被稱作“近似動態規劃”(approximate dynamic programming,ADP)。在最優控制理論中也有研究這個問題,雖然大部分的研究是關於最優解的存在和特性,並非是學習或者近似方面。在經濟學和博弈論中,強化學習被用來解釋在有限理性的條件下如何出現平衡。