2021学習パラメータの調整をする場合、グリッドサーチ機能を使うとパラメータの候補をリストで指定し、そのリストの組み合わせより最も成績のよい組み合わせを調べることができました。(前回記事参照)Optunaを使うと、パラメータの候補リストではなく、パラメータの範囲を指定して最適な組み合わせを調べることができるのでより便利です。データの読み込みタイタニックのデータセットを読み込み、データの前処理を行って、正解ラベルとそれ以外にデータを分割します。df_train['Survived']Optunaでハイパーパラメータ調整Optunaで学習パラメータを最適化する場合には、目的関数の定義の定義を行い、その中で学習パラメータの種類と範囲を指定します。返値としては、成績の良いものほど数値が低くなるようにします。今回は正解率が高いほど、低い数値が返るように定義しています。(13行目)ハイパーパラメータの自動最適化を行うためにはoptunaのcreate_studyメソッドで最適化のセッションを作り、そのセッションのoptimizeメソッドに目的関数(objective)と試行回数(n_trials)を指定します。study.best_value)[出力]今回は、学習率(learning_rate)と木にある分岐の個数(num_leaves)の最適化を行い、各パラメータが0.08623、8という結果となりました。正答率は84.06%と、まずまずの結果になっていると思います。最適化したハイパーパラメータを指定して、LightGBMのインスタンスを作成し、学習を行います。その後、検証データを読み込み、推論・提出用のCSVの出力を行い、Kaggleに提出します。index=False)[提出結果]正解率77.99%となりました。これまでの結果とほぼ同じ正解率となっていて、パラメータの調整だけでは成績向上は難しいのかもしれません。調整するパラメータの選択がよくないのか、範囲の指定がイマイチなのか・・・壁にぶつかっているような気がします。