比較的小さなデータセットでディープラーニングモデルをトレーニングする場合、テスト損失は両方よりも高い一方で、検証損失はトレーニング損失よりも低くなります。テスト1は68％で平らになります。原因は何ですか、そしてそれはどのように避けることができますか？
いい質問！検証損失がトレーニングの損失よりも低い理由がいくつかある可能性があります。理由の1つは、モデルを過剰に正規化したことです。L2体重減衰強度を下げたり、適用しているドロップアウトの量を減らしたり、モデル容量を増やしたりすることで、正規化の制約をリラックスさせることができます（つまり、より深くなります）。もう1つの理由は、検証中にドロップアウトが適用されないためです。

これが役立つことを願っています！