1. For LLaMA/Mistral models on \(\mathsf{bio5}(N)\) data, aiming to present _negative_ results, we select the best learning rate from three options in each data setting: * For \(N=50K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 12 with bf16; * For \(N=100K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 24 with bf16; * For \(N=200K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 48 with bf16; * For \(N=500K\), we use \(wd=0.01\), \(lr=0.0002/0.0003/0.0005\), and batch size 96 with bf16; * For \(N=1M\), we use \(wd=0.01\), \(lr=0.0002/0.0003/0.0005\), and batch size 192 with bf16; * For \(N=2M\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 384 with bf16; * For \(N=5M\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 768 with bf16; * For \(N=10M\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 1536 with bf16; * For \(N=20M\), we use \(wd=0.002\), \(lr=0.0003/0.0005/0.001\), and batch size 1536 with bf16. (For \(N\leq 1M\), we also tested the same settings with fp16, finding similar results. However, LLaMA/Mistral models tend to fail more often with fp16, so we primarily used bf16.)
2. For GPT2\({}_{1/4}\): * For \(N=50K\), we use \(wd=0.01\), \(lr=0.0005/0.001\), and batch size 12 with fp16; * For \(N=100K\), we use \(wd=0.01\), \(lr=0.0005/0.001\), and batch size 24 with fp16; * For \(N=200K\), we use \(wd=0.01\), \(lr=0.0005/0.001\), and batch size 48 with fp16; * For \(N=500K\), we use \(wd=0.01\), \(lr=0.0003/0.0005\), and batch size 96 with fp16; * For \(N=1M\), we use \(wd=0.01\), \(lr=0.0003/0.0005\), and batch size 192 with fp16. 3. For GPT2\({}_{0}\), to present a _negative_ result, we use the same settings as in Parameter 4(a): * For \(N=50K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 12 with bf16; * For \(N=100K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 24 with bf16; * For \(N=200K\), we use \(wd=0.01\), \(lr=0.0003/0.0005/0.001\), and batch size 48 with bf16; * For \(N=500K\), we use \(wd=0.01\), \(lr=0.0002/0.0003/0.0005\), and batch size 96 with bf16; * For \(N=1M\), we use \(wd=0.01\), \(lr=0.0002/0.0003/0.0005\), and batch size 192 with bf16.
1. LLaMA/Mistral 모델의 경우 \(\mathsf{bio5}(N)\) 데이터에서 _음수_ 결과를 제시하기 위해 각 데이터 설정에서 세 가지 옵션 중에서 최적의 Learning Rate를 선택합니다: * N=50K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 12, bf16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 24, bf16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 48, bf16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), Batch Size 96, bf16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), Batch Size 192, bf16을 사용합니다; * N=2M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 384, bf16을 사용합니다; * N=5M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 768, bf16을 사용합니다; * N=10M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 1536, bf16을 사용합니다; * N=20M의 경우, wd=0.002\), lr=0.0003/0.0005/0.001\), Batch Size 1536, bf16을 사용합니다. (N\leq 1M의 경우 fp16으로 동일한 설정을 테스트하여 유사한 결과를 확인했습니다. 그러나 LLaMA/Mistral 모델은 fp16으로 더 자주 실패하는 경향이 있으므로 주로 bf16을 사용했습니다.) 2. GPT2\({}_{1/4}\): * N=50K의 경우, wd=0.01\), lr=0.0005/0.001\), Batch Size 12, fp16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0005/0.001\), Batch Size 24, fp16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0005/0.001\), Batch Size 48, fp16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0003/0.0005\), Batch Size 96, fp16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0003/0.0005\), Batch Size 192, fp16을 사용합니다. 3. GPT2\({}_{0}\), _음수_ 결과를 제시하기 위해 매개변수 4(a)와 동일한 설정을 사용합니다: * N=50K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 12, bf16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 24, bf16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), Batch Size 48, bf16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), Batch Size 96, bf16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), Batch Size 192, bf16을 사용합니다.
1. LLaMA/Mistral 모델의 경우 \(\mathsf{bio5}(N)\) 데이터에서 _음수_ 결과를 제시하기 위해 각 데이터 설정에서 세 가지 옵션 중에서 최적의 학습 속도를 선택합니다: * N=50K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 12, bf16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 24, bf16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 48, bf16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), 배치 크기 96, bf16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), 배치 크기 192, bf16을 사용합니다; * N=2M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 384, bf16을 사용합니다; * N=5M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 768, bf16을 사용합니다; * N=10M의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 1536, bf16을 사용합니다; * N=20M의 경우, wd=0.002\), lr=0.0003/0.0005/0.001\), 배치 크기 1536, bf16을 사용합니다. (N\leq 1M의 경우 fp16으로 동일한 설정을 테스트하여 유사한 결과를 확인했습니다. 그러나 LLaMA/Mistral 모델은 fp16으로 더 자주 실패하는 경향이 있으므로 주로 bf16을 사용했습니다.)2. GPT2\({}_{1/4}\): * N=50K의 경우, wd=0.01\), lr=0.0005/0.001\), 배치 크기 12, fp16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0005/0.001\), 배치 크기 24, fp16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0005/0.001\), 배치 크기 48, fp16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0003/0.0005\), 배치 크기 96, fp16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0003/0.0005\), 배치 크기 192, fp16을 사용합니다. 3. GPT2\({}_{0}\), _음수_ 결과를 제시하기 위해 매개변수 4(a)와 동일한 설정을 사용합니다: * N=50K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 12, bf16을 사용합니다; * N=100K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 24, bf16을 사용합니다; * N=200K의 경우, wd=0.01\), lr=0.0003/0.0005/0.001\), 배치 크기 48, bf16을 사용합니다; * N=500K의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), 배치 크기 96, bf16을 사용합니다; * N=1M의 경우, wd=0.01\), lr=0.0002/0.0003/0.0005\), 배치 크기 192, bf16을 사용합니다.