Baselines MethodsWe pre-train LLMs of (i) Half of C4, and the (ii) Full C4 corresponding to approximately 85 Billion and 170 Billion real tokens respectively (Raffel et al., 2020). We also pre-train our own models on (iii) 160 Billion and (iv) 320 Billion tokens of the RefinedWeb Dataset (Penedo et al., 2023). Additionally, we also compare with the (iv) Pythia-1.4B model that was trained on the Pile (Gao et al., 2020). This dataset is no longer publicly available, hence we utilize a pre-trained model. Finally, we also compare with the recent (v) TinyLlama model (Zhang et al., 2024) that was trained for 3 epochs on 1 Trillion tokens of data from SlimPajama (Shen et al., 2023) and StarCoder (Li et al., 2023a).
베이스라인 방법(i) C4의 절반과 (ii) 약 850억 개와 1700억 개의 실제 토큰에 해당하는 (전체 C4)를 각각 pre-train합니다(Raffel et al., 2020). 또한 (iii) 1600억 개 및 (iv) 3200억 개의 토큰에 대한 RefinedWeb Dataset(Penedo et al., 2023)에 대해 자체 모델을 pre-train합니다. 또한 (iv) The Pile(Gao et al., 2020)에 대해 학습된 Pythia-1.4B 모델과 비교합니다. 이 데이터 세트는 더 이상 공개되지 않았으므로 pre-trained 모델을 활용합니다. 마지막으로, SlimPajama(Shen et al., 2023)와 StarCoder(Li et al., 2023a)의 1조 토큰 데이터에 대해 3회 학습한 최근 TinyLlama 모델(Zhang et al., 2024)과도 비교합니다.
베이스라인 방법(i) C4의 절반과 (ii) 약 850억 개와 1700억 개의 실제 토큰에 해당하는 (전체 C4)를 각각 사전 학습합니다(Raffel et al., 2020). 또한 (iii) 1600억 개 및 (iv) 3200억 개의 토큰에 대한 정제 웹 데이터 세트(Penedo et al., 2023)에 대해 자체 모델을 사전 학습합니다. 또한 (iv) 더 더미(Gao et al., 2020)에 대해 학습된 Pythia-1.4B 모델과 비교합니다. 이 데이터 세트는 더 이상 공개되지 않았으므로 사전 학습된 모델을 활용합니다. 마지막으로, 슬림파자마(Shen et al., 2023)와 스타코더(Li et al., 2023a)의 1조 토큰 데이터에 대해 3회 학습한 최근 (v) 타이니라마 모델(Zhang et al., 2024)과도 비교합니다.