* For \(N=10K\), we use \(wd=0.02\), \(lr=0.001/0.002\), and batch size 24 with fp16;
* For \(N=20K\), we use \(wd=0.02\), \(lr=0.001/0.002\), and batch size 48 with fp16;
* For \(N=50K\), we use \(wd=0.02\), \(lr=0.001/0.002\), and batch size 96 with fp16;
* For \(N=100K,200K\), we use \(wd=0.02\), \(lr=0.001/0.002\), batch size 192 with fp16;
* For \(N=500K,1M\), we use \(wd=0.01\), \(lr=0.0005/0.001\), batch size 192 with fp16;
* For \(N=2M\), we use \(wd=0.005\), \(lr=0.002\), and batch size 1536 with fp16;
* For \(N=5M\), we use \(wd=0.002\), \(lr=0.0005\), and batch size 1536 with fp16;
* For \(N=10M\), we use \(wd=0.001\), \(lr=0.0005\), and batch size 1536 with fp16.
* N=10K의 경우, wd=0.02, Learning Rate=0.001/0.002, Batch Size 24, fp16을 사용합니다;
* N=20K의 경우, wd=0.02, Learning Rate=0.001/0.002, Batch Size 48, fp16을 사용합니다;
* N=50K의 경우, wd=0.02, Learning Rate=0.001/0.002, Batch Size 96, fp16을 사용합니다;
* N=100K,200K의 경우, wd=0.02, Learning Rate=0.001/0.002, Batch Size 192, fp16을 사용합니다;
* N=500K,1M의 경우, wd=0.01, Learning Rate=0.0005/0.001, Batch Size 192, fp16을 사용합니다;
* N=2M의 경우, wd=0.005, Learning Rate=0.002, Batch Size 1536, fp16을 사용합니다;
* N=5M의 경우, wd=0.002, Learning Rate=0.0005, Batch Size 1536, fp16을 사용합니다;
* N=10M의 경우, wd=0.001, Learning Rate=0.0005, Batch Size 1536, fp16을 사용합니다.
* N=10K의 경우, wd=0.02, lr=0.001/0.002, 배치 크기 24, fp16을 사용합니다;
* N=20K의 경우, wd=0.02, lr=0.001/0.002, 배치 크기 48, fp16을 사용합니다;
* N=50K의 경우, wd=0.02, lr=0.001/0.002, 배치 크기 96, fp16을 사용합니다;
* N=100K,200K의 경우, wd=0.02, lr=0.001/0.002, 배치 크기 192, fp16을 사용합니다;
* N=500K,1M의 경우, wd=0.01, lr=0.0005/0.001, 배치 크기 192, fp16을 사용합니다;
* N=2M의 경우, wd=0.005, lr=0.002, 배치 크기 1536, fp16을 사용합니다;
* N=5M의 경우, wd=0.002, lr=0.0005, 배치 크기 1536, fp16을 사용합니다;
* N=10M의 경우, wd=0.001, lr=0.0005, 배치 크기 1536, fp16을 사용합니다.