現在、CNNとRNNを組み合わせて動画を分類するモデルを使っています。  
モデルがアンダーフィッティングを起こしているので、モデルの複雑さを上げたいと考えています。  
しかし、現状CNNは４層程度なのですが、さらに層の数を増やそうとすると学習が初期段階で停滞し、一切訓練誤差が下がらないという状況です。  
このような場合に有効な学習を進める方法として何が考えられるのでしょうか？  
バッチ正規化が有効だと聞いたことがあるのですが、GPUのメモリの関係上、バッチサイズは１が限界でバッチ正規化はおそらく使うことができません。  
それ以外の方法で学習を安定して進めることのできる方法を教えてくださると助かります。
CC BY-SA 4.0
2019-09-11T13:15:28.530
58999
2019-09-14T11:21:27.130
20217
question
機械学習 深層学習
ディープラーニングにおいて、層を深くしても学習が進むようにする方法
層を増やすのも一つですが、特徴（CNNの出力）を増やすというのも一つです。この辺は「ハイパーパラメータ」と言って、今のところ試行錯誤するしかありません。[OPUTUNA](https://research.preferred.jp/2018/12/optuna-
release/)という、自動調整ツールもありますが、これがやることは「実際に学習して、どの組み合わせが一番学習が進むかを試す」と言うことです。自動化されていますが、やってみることに変わりはありません。
CC BY-SA 4.0
2019-09-14T11:21:27.130
59064
2019-09-14T11:21:27.130
29996
58999
answer