私はそれが私のデータセットだとは思わない、私は30の例を持っている、そして私のモデルには128Bパラメーターしかない。どのようなドロップアウト率を提案しますか？
データセットが小さすぎて、モデルがタスクには大きすぎると思います。30の例は、ドロップアウトであっても、128Bパラメーターを使用してモデルをトレーニングするのに十分ではありません。データに過度に適合し、一般化のパフォーマンスが低い可能性があります。データセットサイズを増やすか、モデルサイズを削減することをお勧めします。ここではドロップアウト率は主な問題ではありませんが、試してみたい場合は、0.1のレートから始めて、検証またはテストメトリックが改善されるまで徐々に増やすことができます。