2021前回は、学習アルゴリズムを変更(PPO2アルゴリズム使用)しましたがぜんぜんゴールできない結果となってしまいました。学習アルゴリズムはACKTRに戻します。[広くしたマップイメージ]いろいろ対策を行いまして、こんがらがってきてしまったので今回は一旦報酬をシンプルにしてみたいと思います。具体的には、ゴール時の報酬を500にし、それ以外の報酬を-1とします。報酬をシンプルにし、とにかくゴールできるように学習をしてほしいという狙いです。修正箇所は、カスタムGym環境の99-120行目となります。1ステップ進める処理を記述。self.FIELD_TYPES.index(field_type)))))学習率を変更しながら実行し、それぞれの最終結果と平均報酬遷移(グラフ)を確認します。0.010.050.10.51.0学習完了(マップ攻略)とはいきませんでしたが、学習率0.1~1.0付近でのゴール回数が多いようです。次回は、この学習率付近をもう少し深ぼりして調査したいと思います。