To evaluate different configurations of data selection strategies, we train OPT [59] models from scratch on the pruned versions of datasets. We use the standard model architectures and settings of Zhang et al. [59] and use MetaSeq [59] to train all our models. For 125M models, we train to \(T_{target}=3B\) tokens. For 1.3B parameter models, we train to target token count of \(T_{target}=40B\). For 6.7B parameter models, we train to \(T_{target}=100B\) tokens. We choose these by trimming down the token budgets suggested by Hoffmann et al. [20] to meet our compute limitations. We provide full details of our training setup in Section A.1.
다양한 데이터 선택 전략의 구성을 평가하기 위해, 우리는 데이터셋의 축소된 버전에서 OPT [59] 모델을 처음부터 훈련합니다. Zhang et al. [59]의 표준 모델 아키텍처와 설정을 사용하고, 모든 모델을 훈련하기 위해 MetaSeq [59]를 사용합니다. 125M 모델의 경우, \(T_{target}=3B\) 토큰까지 훈련합니다. 1.3B 파라미터 모델의 경우, 목표 토큰 수 \(T_{target}=40B\)까지 훈련합니다. 6.7B 파라미터 모델의 경우, \(T_{target}=100B\) 토큰까지 훈련합니다. 우리는 Hoffmann et al. [20]이 제안한 토큰 예산을 우리의 계산 한계에 맞추기 위해 축소하여 선택했습니다. 우리의 훈련 설정에 대한 전체 세부 사항은 섹션 A.1에 제공합니다.
데이터 선택 전략의 다양한 구성을 평가하기 위해, 우리는 데이터 세트의 잘린 버전에 대해 처음부터 OPT [59] 모델을 훈련합니다. Zhang et al. [59]의 표준 모델 아키텍처와 설정을 사용하며, 모든 모델을 훈련하기 위해 MetaSeq [59]를 사용합니다. 125M 모델의 경우, \(T_{target}=3B\) 토큰으로 훈련합니다. 13억 파라미터 모델의 경우, \(T_{target}=40B\) 토큰의 목표 토큰 수로 훈련합니다. 67억 파라미터 모델의 경우, \(T_{target}=100B\) 토큰으로 훈련합니다. 이는 컴퓨팅 제한 사항을 충족하기 위해 Hoffmann 등[20]이 제안한 토큰 예산을 조정하여 선택했습니다. 훈련 설정에 대한 자세한 내용은 섹션 A.1에서 확인할 수 있습니다.