2019モンテカルロ法・TD法に続いてSARSAによる学習を試してみます。Q-learning(TD法)は価値が最大となる状態に遷移する行動をとることを前提としますが、SARSAでは次の行動はself.Qに基づく戦略(self.Q)で決められることを前提とします。エージェントのベースになるクラスを実装します。(モンテカルロ法・TD法)と同様です。plt.show()次に環境を扱うためのクラスを実装します。(モンテカルロ法・TD法)と同様です。FrozenLake-v0環境での価値は下記の通り。各行動での評価を表しています。plt.show()SARSAでの学習を実行します。TD法とほとんど同じですが、gainを算出する箇所のみが違います。コメントをご参照ください。train()FrozenLake各行動の評価モンテカルロ法、TD法とは違う経路が高く評価されていますが、全体的にゴール向かう行動が高く評価されています。エピソード実行回数と獲得報酬平均の推移は次のようになります。