Reference Model TrainingTo train our mathematical reference model, we gathered a dataset of 0.5B high-quality, math-related tokens. This dataset is a blend of synthetic data from GPT (Yu et al., 2024; Huang et al., 2024) and manually curated data (Yue et al., 2024; Ni et al., 2024). For the general reference model, we compiled a corpus of 1.9B tokens from open-source datasets, such as Tulu-v2 (Ivison et al., 2023) and OpenHermes-2.5 (Teknium, 2023). We trained the reference models for 3 epochs. The maximum learning rate was set at 5e-5 for 1B models and 1e-5 for 7B models, applying a cosine decay schedule. We set the maximum sequence lengths to 2048 for 1B models and 4096 for 7B models, packing multiple samples into these lengths for model input. In all main experiments, we initialized the continual pretraining model and the reference model with the _same_ base model.
참조 모델 훈련수학적 참조 모델을 훈련하기 위해 0.5B의 고품질 수학 관련 토큰으로 구성된 데이터 세트를 수집했습니다. 이 데이터 세트는 GPT(Yu et al., 2024; Huang et al., 2024)의 합성 데이터와 수동으로 큐레이션된 데이터(Yue et al., 2024; Ni et al., 2024)가 혼합된 것입니다. 일반 참조 모델의 경우, Tulu-v2(Ivison et al., 2023) 및 OpenHermes-2.5(Teknium, 2023)와 같은 오픈 소스 데이터 세트에서 1.9B 토큰으로 구성된 코퍼스를 컴파일했습니다. 참조 모델은 3회에 걸쳐 학습했습니다. 최대 Learning Rate는 1B 모델의 경우 5e-5, 7B 모델의 경우 1e-5로 설정하고 cosine decay schedule을 적용했습니다. 최대 시퀀스 길이는 1B 모델의 경우 2048, 7B 모델의 경우 4096으로 설정하고 모델 입력에 대해 여러 샘플을 이 길이로 패킹했습니다. 모든 주요 실험에서 지속적 사전 학습 모델과 참조 모델을 _동일한_ 기본 모델로 초기화했습니다.
참조 모델 훈련수학적 참조 모델을 훈련하기 위해 0.5B의 고품질 수학 관련 토큰으로 구성된 데이터 세트를 수집했습니다. 이 데이터 세트는 GPT(Yu et al., 2024; Huang et al., 2024)의 합성 데이터와 수동으로 큐레이션된 데이터(Yue et al., 2024; Ni et al., 2024)가 혼합된 것입니다. 일반 참조 모델의 경우, Tulu-v2(Ivison et al., 2023) 및 OpenHermes-2.5(Teknium, 2023)와 같은 오픈 소스 데이터 세트에서 1.9B 토큰으로 구성된 코퍼스를 컴파일했습니다. 참조 모델은 3회에 걸쳐 학습했습니다. 최대 학습 속도는 1B 모델의 경우 5e-5, 7B 모델의 경우 1e-5로 설정하고 코사인 감쇠 스케줄을 적용했습니다. 최대 시퀀스 길이는 1B 모델의 경우 2048, 7B 모델의 경우 4096으로 설정하고 모델 입력에 대해 여러 샘플을 이 길이로 패킹했습니다. 모든 주요 실험에서 지속적 사전 학습 모델과 참조 모델을 _동일한_ 기본 모델로 초기화했습니다.