During pre-training (or mixed-training), we use a weight decay of 0.03 and select the best among three learning rates: 0.0005, 0.001, 0.002; we also employ 1000 steps of learning rate warmup. During finetuning (FT), we use a weight decay of 0.01, and select the best among two learning rates: 0.0003 or 0.0005; we do not use learning rate warmup. During mixed-training, we use \(\text{QA}_{r}=0.3\) which means 30% of the training tokens come from instruction finetune data.
사전 학습(또는 혼합 학습) 중에는 0.03의 weight decay를 사용하고 세 가지 learning rate 중에서 0.0005, 0.001, 0.002 중에서 가장 좋은 속도를 선택하며, 1000단계의 learning rate warmup을 사용합니다. Fine-tuning (FT) 중에는 0.01의 weight decay를 사용하고 두 가지 learning rate 중에서 0.0003 또는 0.0005 중에서 가장 좋은 속도를 선택하며, learning rate warmup을 사용하지 않습니다. 혼합 학습 중에는 \(\text{QA}_{r}=0.3\)을 사용하며, 이는 training tokens의 30%가 Instruction Fine-tuning 데이터에서 나온다는 것을 의미합니다.
사전 학습(또는 혼합 학습) 중에는 0.03의 가중치 감소를 사용하고 세 가지 학습 속도 중에서 0.0005, 0.001, 0.002 중에서 가장 좋은 속도를 선택하며, 1000단계의 학습 속도 워밍업을 사용합니다. 미세 조정(FT) 중에는 0.01의 가중치 감소를 사용하고 두 가지 학습 속도 중에서 0.0003 또는 0.0005 중에서 가장 좋은 속도를 선택하며, 학습 속도 워밍업을 사용하지 않습니다. 혼합 학습 중에는 \(\text{QA}_{r}=0.3\)을 사용하며, 이는 트레이닝 토큰의 30%가 명령어 미세 조정 데이터에서 나온다는 것을 의미합니다.