Based on these two hypotheses, we propose the following training strategy: during the pre-training phase, only use large-scale coarse-quality pre-training data, which is abundant and can support continuous training when provided with more computational resources. During the annealing phase, we use diverse and high-quality knowledge and ability-oriented SFT data, mixed into the pre-training data.
이 두 가지 가설에 근거하여, 사전 학습 단계에서는 풍부하고 더 많은 계산 리소스가 제공될 때 지속적인 학습을 지원할 수 있는 대규모의 조잡한 품질의 사전 학습 데이터만 사용할 것을 제안한다. 어닐링 단계에서는 사전 학습 데이터에 혼합된 다양하고 고품질의 지식 및 능력 지향적인 Supervised Fine-tuning (SFT) 데이터를 사용한다.
이 두 가지 가설에 근거하여, 사전 학습 단계에서는 풍부하고 더 많은 계산 리소스가 제공될 때 지속적인 학습을 지원할 수 있는 대규모의 조잡한 품질의 사전 학습 데이터만 사용할 것을 제안한다. 어닐링 단계에서는 사전 학습 데이터에 혼합된 다양하고 고품질의 지식 및 능력 지향적인 SFT 데이터를 사용한다.