構成の異なるNeural
Network(NN)AとBを同じ訓練データ(batch)で同時に訓練していく場合,いつも前半ではBの推論精度がAより非常に良いのですが、途中からBの進化の速度がダウンしてだんだん推論精度がAに抜かれてしまう現象です。

下記のような３つのoptimizerを同じ訓練ループの中で試しています 。

```

    ## 一つ目
    optimizer = AdaBound( model.parameters(), lr=1e-3, betas=(0.9, 0.999), final_lr=0.1, gamma=1e-3, eps=1e-8, weight_decay=0, amsbound=False) 
    
    
    ## 二つ目
    optimizer = torch.optim.Adam( model.parameters(), lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=True,# amsgrad=True : gradの大小によってlearninig rate自動調整機能：試してみるべき。 foreach=None, maximize=False, capturable=False, differentiable=False, fused=False)
    
    ## 三つ目
    optimizer = torch.optim.NAdam( model.parameters(), lr=0.002, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, momentum_decay=0.004, foreach=None)
    
```
CC BY-SA 4.0
2022-12-17T07:10:56.050
92831
2022-12-18T08:53:49.847
2022-12-18T08:53:49.847
55982
55982
question
機械学習 深層学習
これは" 過学習" 現象なのでしょうか？
過学習かどうかはテストデータで判断することが一般的かと思います。  
質問文のみでは情報が少なくて断定はできませんが、質問者さんの「過学習」に対する認識が違うように思われます。（質問文からですと学習率の違いが訓練課程に影響していそうですが）  
[詰め込みすぎて使えない？過学習の落とし穴](https://www.mitsubishielectric.co.jp/corporate/special/hello-
ai/words/kagakusyu.html#:%7E:text=%E3%80%8C%E9%81%8E%E5%AD%A6%E7%BF%92%E3%80%8D%E3%81%A8%E3%81%AF%E3%80%81,%E3%81%97%E3%81%BE%E3%81%86%E3%81%93%E3%81%A8%E3%82%92%E6%8C%87%E3%81%97%E3%81%BE%E3%81%99%E3%80%82)

質問の両モデルについてもテストデータで正解率等を比べないとどちらもモデルが優れているかも判断できないかと思いますよ。
CC BY-SA 4.0
2022-12-17T07:46:44.957
92832
2022-12-17T07:46:44.957
39819
92831
answer