For the experiments with the customized mixed dataset, we manually curated a dataset containing 3T tokens comprising a mixture of English, Chinese, and code data. The data underwent a series of rigorous deduplication, filtering, and cleaning processes to ensure its quality. The context window was set to 4096, and each batch contained about 4M tokens. Similarly, we trained only 10 small models, each with a maximum of 60M parameters, to estimate the constant terms of the scaling-law formulas. The formulas are used to predict the test loss trajectory of models up to 33B (600 times larger). We test the accuracy of the predicted loss trajectory on both in-domain and out-of-domain test data.
맞춤형 혼합 데이터 세트를 사용한 실험의 경우, 영어, 중국어, 코드 데이터가 혼합된 3T 토큰으로 구성된 데이터 세트를 수동으로 큐레이션했습니다. 데이터는 품질을 보장하기 위해 일련의 엄격한 중복 제거, 필터링 및 정리 프로세스를 거쳤습니다. 컨텍스트 창은 4096으로 설정되었으며 각 batch에는 약 4M 토큰이 포함되었습니다. 마찬가지로, scaling-law 공식의 상수 항을 추정하기 위해 각각 최대 60M 파라미터를 가진 10개의 소형 모델만 학습시켰습니다. 이 공식은 최대 33B(600배 더 큰) 모델의 테스트 loss 궤적을 예측하는 데 사용됩니다. 도메인 내 및 도메인 외 테스트 데이터 모두에서 예측된 loss 궤적의 정확도를 테스트합니다.
맞춤형 혼합 데이터 세트를 사용한 실험의 경우, 영어, 중국어, 코드 데이터가 혼합된 3T 토큰으로 구성된 데이터 세트를 수동으로 큐레이션했습니다. 데이터는 품질을 보장하기 위해 일련의 엄격한 중복 제거, 필터링 및 정리 프로세스를 거쳤습니다. 컨텍스트 창은 4096으로 설정되었으며 각 배치에는 약 4M 토큰이 포함되었습니다. 마찬가지로, 스케일링 법칙 공식의 상수 항을 추정하기 위해 각각 최대 60M 파라미터를 가진 10개의 소형 모델만 학습시켰습니다. 이 공식은 최대 33B(600배 더 큰) 모델의 테스트 손실 궤적을 예측하는 데 사용됩니다. 도메인 내 및 도메인 외 테스트 데이터 모두에서 예측된 손실 궤적의 정확도를 테스트합니다.