We use AdamW Loshchilov and Hutter (2019) with \(\beta_{1}=0.9\), \(\beta_{2}=0.95\), and a weight decay of 0.1. We decay the learning rate to 10% of its initial value using a cosine scheduler without warm-up. When pre-training on documents, we use a batch size of 256 documents and an initial learning rate of 3e-5. During instruction-tuning on QA pairs, we use the same batch size of 256 QA pairs, but opt for a reduced initial learning rate of 5e-6 because the number of tokens in a single batch used for computing losses is lower. The number of epochs varies depending on the setting and is detailed in the corresponding sections.
베타_{1}=0.9\), \(\베타_{2}=0.95\), 가중치 감쇠 0.1로 AdamW Loschilov 및 Hutter (2019)를 사용합니다. 워밍업 없이 코사인 스케줄러를 사용하여 learning rate를 초기 값의 10%로 감소시킵니다. 문서에 대해 사전 학습할 때 batch size는 256개 문서, 초기 learning rate는 3e-5를 사용합니다. QA 쌍에 대한 Instruction Tuning 중에는 동일한 batch size인 256개의 QA 쌍을 사용하지만, 손실 계산에 사용되는 단일 배치의 토큰 수가 더 적기 때문에 초기 learning rate를 5e-6으로 줄였습니다. 에포크 수는 설정에 따라 다르며 해당 섹션에 자세히 설명되어 있습니다.
베타_{1}=0.9\), \(\베타_{2}=0.95\), 가중치 감쇠 0.1로 AdamW Loschilov 및 Hutter (2019)를 사용합니다. 워밍업 없이 코사인 스케줄러를 사용하여 학습 속도를 초기 값의 10%로 감소시킵니다. 문서에 대해 사전 학습할 때 배치 크기는 256개 문서, 초기 학습 속도는 3e-5를 사용합니다. QA 쌍에 대한 지침 조정 중에는 동일한 배치 크기인 256개의 QA 쌍을 사용하지만, 손실 계산에 사용되는 단일 배치의 토큰 수가 더 적기 때문에 초기 학습 속도를 5e-6으로 줄였습니다. 에포크 수는 설정에 따라 다르며 해당 섹션에 자세히 설명되어 있습니다.