* Introducing this data during the annealing phase, in addition to the SFT stage, fosters a more comprehensive model learning. Specifically, it facilitates a more pronounced loss reduction in relation to the SFT data distribution, rather than the pre-training data distribution. This approach is more congruent with actual user scenarios. * In contrast to a uniform distribution of high-quality data throughout the entire pre-training process, this method enhances training by concentrating on data and sustaining continuous pre-training. If we do not predetermine a training step, we will repeat a small dataset throughout an ongoing pre-training process, which could lead to negative effects.
* 이 데이터를 어닐링 단계에서 소개하면 Supervised Fine-tuning (SFT) 단계에 더해 보다 포괄적인 모델 학습을 촉진할 수 있습니다. 특히 사전 학습 데이터 분포보다는 SFT 데이터 분포와 관련하여 더 뚜렷한 Loss 감소를 촉진합니다. 이러한 접근 방식은 실제 사용자 시나리오에 더 부합합니다. * 전체 사전 학습 과정에 걸쳐 고품질 데이터를 균일하게 분포시키는 것과는 달리, 이 방법은 데이터에 집중하고 지속적인 사전 학습을 유지함으로써 학습을 향상시킵니다. 학습 단계를 미리 정하지 않으면 진행 중인 사전 학습 프로세스에서 소규모 데이터 세트를 반복하게 되어 부정적인 영향을 미칠 수 있습니다.
* 이 데이터를 어닐링 단계에서 소개하면 SFT 단계에 더해 보다 포괄적인 모델 학습을 촉진할 수 있습니다. 특히 사전 학습 데이터 분포보다는 SFT 데이터 분포와 관련하여 더 뚜렷한 손실 감소를 촉진합니다. 이러한 접근 방식은 실제 사용자 시나리오에 더 부합합니다. * 전체 사전 학습 과정에 걸쳐 고품질 데이터를 균일하게 분포시키는 것과는 달리, 이 방법은 데이터에 집중하고 지속적인 사전 학습을 유지함으로써 학습을 향상시킵니다. 학습 단계를 미리 정하지 않으면 진행 중인 사전 학습 프로세스에서 소규모 데이터 세트를 반복하게 되어 부정적인 영향을 미칠 수 있습니다.