In this additional phase of continued training, we utilize two distinct data distributions. The first distribution is where the majority of tokens during continued training are sampled from. It utilizes tokens that have already been introduced during pre-training but with a distribution that places larger sampling weight on higher quality sources. The second distribution introduces a small number of benchmark-style alignment examples to better allow the model to respond to such questions in downstream evaluations while also up-weighting data sources that come from areas of low model performance. In accompaniment with a learning rate schedule that prioritizes a steeper slope of decay than magnitude of learning rate, we find that such an ordering and style of data distributions allows for the model to gently transition from the pre-training dataset and better learn newly emphasized data areas.
지속적인 훈련의 추가 단계에서는 두 가지 다른 데이터 분포를 활용합니다. 첫 번째 분포는 지속 훈련 중 대부분의 토큰이 샘플링되는 곳입니다. 이 분포는 사전 학습 중에 이미 도입된 토큰을 활용하지만, 품질이 높은 소스에 더 많은 샘플링 가중치를 부여하는 분포를 사용합니다. 두 번째 분포는 소수의 벤치마크 스타일의 정렬 예제를 도입하여 모델이 다운스트림 평가에서 이러한 질문에 더 잘 대응할 수 있도록 하는 동시에 모델 성능이 낮은 영역에서 나온 데이터 소스에 가중치를 더 부여합니다. Learning Rate가 학습 속도의 크기보다 감소 속도가 더 가파른 것을 우선시하는 Learning Rate 일정과 함께, 이러한 순서와 데이터 분포 스타일을 통해 모델이 사전 학습 데이터 세트에서 완만하게 전환하고 새로 강조된 데이터 영역을 더 잘 학습할 수 있음을 확인했습니다.
지속적인 훈련의 추가 단계에서는 두 가지 다른 데이터 분포를 활용합니다. 첫 번째 분포는 지속 훈련 중 대부분의 토큰이 샘플링되는 곳입니다. 이 분포는 사전 학습 중에 이미 도입된 토큰을 활용하지만, 품질이 높은 소스에 더 많은 샘플링 가중치를 부여하는 분포를 사용합니다. 두 번째 분포는 소수의 벤치마크 스타일의 정렬 예제를 도입하여 모델이 다운스트림 평가에서 이러한 질문에 더 잘 대응할 수 있도록 하는 동시에 모델 성능이 낮은 영역에서 나온 데이터 소스에 가중치를 더 부여합니다. 학습 속도가 학습 속도의 크기보다 감소 속도가 더 가파른 것을 우선시하는 학습 속도 일정과 함께, 이러한 순서와 데이터 분포 스타일을 통해 모델이 사전 학습 데이터 세트에서 완만하게 전환하고 새로 강조된 데이터 영역을 더 잘 학습할 수 있음을 확인했습니다.