1. A-1: 2.4B model, decay using only pre-training data, followed by 4B token SFT. 2. A-2: 2.4B model, decay using the aforementioned high-quality data unlabeled data and SFT data mixed into pre-training data, also followed by 4B token SFT. 3. B-1: 1.2B model, decay using only pre-training data, followed by 6B token SFT. 4. B-2: 1.2B model, decay using only pre-training data, followed by 12B token SFT. 5. B-3: 1.2B model, annealing using the aforementioned high-quality data + SFT data mixed into pre-training data, also followed by 6B token SFT.
1. A-1: 2.4B model, 사전 학습 데이터만 사용하여 decay 후 4B token SFT. 2. A-2: 2.4B model, 앞서 언급한 고품질 데이터와 SFT 데이터를 사전 학습 데이터에 혼합하여 사용한 decay, 이어서 4B token SFT. 3. B-1: 1.2B model, 사전 학습 데이터만 사용하여 decay 후 6B token SFT. 4. B-2: 1.2B model, 사전 학습 데이터만 사용하여 decay 후 12B token SFT. 5. B-3: 1.2B model, 앞서 언급한 고품질 데이터 + 사전 학습 데이터에 혼합된 SFT 데이터를 사용하여 annealing한 후 6B token SFT.
1. A-1: 2.4B 모델, 사전 학습 데이터만 사용하여 붕괴 후 4B 토큰 SFT. 2. A-2: 2.4B 모델, 앞서 언급한 고품질 데이터와 SFT 데이터를 사전 학습 데이터에 혼합하여 사용한 붕괴, 이어서 4B 토큰 SFT. 3. B-1: 1.2B 모델, 사전 학습 데이터만 사용하여 붕괴 후 6B 토큰 SFT. 4. B-2: 1.2B 모델, 사전 학습 데이터만 사용하여 붕괴 후 12B 토큰 SFT. 5. B-3: 1.2B 모델, 앞서 언급한 고품질 데이터 + 사전 학습 데이터에 혼합된 SFT 데이터를 사용하여 어닐링한 후 6B 토큰 SFT.