Positional Embedding and Long ContextWe use Rotary Position Embedding (RoPE) [73] following the standard implementation. We adjust the base frequency (RoPE ABF), introduced in Xiong et al. [82], to support long context windows up to 200K where the base model itself is trained on 4K context length. To adapt the base model to longer context, we continue pretrain the model on 10B tokens from our pretraining data mixture with slightly upsampled long sequences, mostly from book. We observe that only 1-2B tokens is enough for the model to converge to low loss on 4K-200K length, and a lightweight finetuning further induces near-perfect long-context retrieval performance. Based on this observation, we tend to view that the capability of modeling longer dependency than the pretrained length (4K) is a intrinsic capability (rather than an being injected by post-train). This is to say, the base model already has the capability to model longer than 4K dependency even the model is trained shorter, and the post-train / finetuning procedure simply release this capability.
위치 임베딩 및 긴 컨텍스트표준 구현에 따라 Rotary Position Embedding (RoPE) [73]을 사용합니다. 베이스 모델 자체가 4K 컨텍스트 길이로 학습된 최대 200K의 긴 컨텍스트 창을 지원하기 위해 Xiong 등[82]에서 소개한 기본 주파수(RoPE ABF)를 조정합니다. 더 긴 컨텍스트에 맞게 기본 모델을 조정하기 위해 책에서 대부분 약간 업샘플링된 긴 시퀀스를 사용하여 사전 학습 데이터 혼합물에서 100억 토큰에 대해 사전 학습을 계속 진행합니다. 모델이 4K-200K 길이에서 낮은 Loss로 수렴하는 데는 1~2B 토큰만면 충분하며, 경량 Fine-tuning을 통해 거의 완벽한 긴 컨텍스트 검색 성능을 유도할 수 있음을 관찰했습니다. 이러한 관찰을 바탕으로, 사전 학습된 길이(4K)보다 더 긴 종속성을 모델링하는 능력은 본질적인 능력(사후 학습에 의해 주입되는 것이 아니라)이라고 보는 경향이 있습니다. 즉, 기본 모델은 사전 학습된 길이보다 더 긴 종속성을 모델링할 수 있는 능력을 이미 가지고 있으며, 사후 학습/Fine-tuning 절차는 단순히 이러한 능력을 발휘하는 것입니다.
위치 임베딩 및 긴 컨텍스트표준 구현에 따라 로터리 위치 임베딩(RoPE) [73]을 사용합니다. 베이스 모델 자체가 4K 컨텍스트 길이로 학습된 최대 200K의 긴 컨텍스트 창을 지원하기 위해 Xiong 등[82]에서 소개한 기본 주파수(RoPE ABF)를 조정합니다. 더 긴 컨텍스트에 맞게 기본 모델을 조정하기 위해 책에서 대부분 약간 업샘플링된 긴 시퀀스를 사용하여 사전 학습 데이터 혼합물에서 100억 토큰에 대해 사전 학습을 계속 진행합니다. 모델이 4K-200K 길이에서 낮은 손실로 수렴하는 데는 1~2B 토큰만면 충분하며, 경량 미세 조정을 통해 거의 완벽한 긴 컨텍스트 검색 성능을 유도할 수 있음을 관찰했습니다. 이러한 관찰을 바탕으로, 사전 학습된 길이(4K)보다 더 긴 종속성을 모델링하는 능력은 본질적인 능력(사후 학습에 의해 주입되는 것이 아니라)이라고 보는 경향이 있습니다. 즉, 기본 모델은 사전 학습된 길이보다 더 긴 종속성을 모델링할 수 있는 능력을 이미 가지고 있으며, 사후 학습/미세 조정 절차는 단순히 이러한 능력을 발휘하는 것입니다.