SetupsWe train on the mixtures of GitHub, Pile-CC, and Books3 subset from the Pile for a total of 30B tokens and evaluate the model on the three domains, respectively. For specific mixtures, we grid search from \(\{0,0.125,0.25,\ldots,0.875,1\}\)3 and retain valid ones in which three proportions sum up to 1 and do not use up all tokens in any of the domains5, which results in 32 mixtures in total.
설정 우리는 총 30B tokens에 대해 GitHub, Pile-CC, Pile의 Books3 하위 집합의 혼합물에 대해 학습하고 모델을 세 가지 도메인에 대해 각각 평가합니다. 특정 혼합물의 경우, 우리는 \(\{0,0.125,0.25,\ldots,0.875,1\}\)3에서 grid search를 수행하고 세 가지 비율이 1로 합산되고 어떤 도메인에서도 tokens을 모두 사용하지 않는 유효한 것을 유지합니다5, 그 결과 총 32개의 혼합물이 생성됩니다.
설정우리는 총 30B 토큰에 대해 GitHub, Pile-CC, Pile의 Books3 하위 집합의 혼합물에 대해 학습하고 모델을 세 가지 도메인에 대해 각각 평가합니다. 특정 혼합물의 경우, 우리는 \(\{0,0.125,0.25,\ldots,0.875,1\}\)3에서 그리드 검색을 수행하고 세 가지 비율이 1로 합산되고 어떤 도메인에서도 토큰을 모두 사용하지 않는 유효한 것을 유지합니다5, 그 결과 총 32개의 혼합물이 생성됩니다.