**Training.** We train language models _from scratch (i.e., random initialization)_ using the specified datasets. Knowledge paragraphs about individuals are randomly concatenated, separated by <EOS> tokens, and then randomly segmented into 512-token windows. The standard autoregressive loss is employed for training. Unless specified otherwise, training utilizes the default AdamW optimizer and mixed-precision fp16. Learning rates and weight decays are moderately tuned (see appendix).
**Training.** 지정된 데이터 세트를 사용하여 언어 모델을 _처음부터(즉, 무작위 초기화)_ 훈련합니다. 개인에 대한 지식 단락은 무작위로 연결되고 <EOS> 토큰으로 구분된 다음 512-token 윈도우로 무작위로 분할됩니다. 표준 autoregressive loss가 훈련에 사용됩니다. 달리 지정되지 않는 한, 훈련은 기본 AdamW optimizer와 혼합 정밀도 fp16을 활용합니다. Learning rates와 weight decays는 적당히 조정됩니다(부록 참조).
**훈련**. 지정된 데이터 세트를 사용하여 언어 모델을 _처음부터(즉, 무작위 초기화)_ 훈련합니다. 개인에 대한 지식 단락은 무작위로 연결되고 <EOS> 토큰으로 구분된 다음 512 토큰 윈도우로 무작위로 분할됩니다. 표준 자동 회귀 손실이 훈련에 사용됩니다. 달리 지정되지 않는 한, 훈련은 기본 AdamW 옵티마이저와 혼합 정밀도 fp16을 활용합니다. 학습 속도와 가중치 감쇠는 적당히 조정됩니다(부록 참조).