Setups.We train our models on the mixture of RedPajama and validate the validation set of the Pile to mimic the scenario where validation data are collected separately from the training data. To fit the scaling laws of training steps and model sizes, we train a series of 70M, 160M, 305M, and 410M models for 30B tokens. For all the models, we set the batch size as 1M tokens thus translating into 100k steps for the 1B models and 30k steps for small models. We apply a cosine learning rate decay with a warmup of 2k steps which decays to 0.1 of the maximum learning rate at the 100k-th steps.
설정. RedPajama의 혼합물로 모델을 학습하고 Pile의 validation 세트를 학습 데이터와 별도로 validation 데이터를 수집하는 시나리오를 모방합니다. 학습 단계와 모델 크기의 scaling laws에 맞추기 위해 30B tokens에 대해 70M, 160M, 305M, 410M 모델을 일련으로 학습합니다. 모든 모델에 대해 batch size를 1M tokens으로 설정하여 1B 모델의 경우 100k steps, 소형 모델의 경우 30k steps로 변환합니다. 2k steps의 워밍업과 함께 cosine learning rate decay를 적용하여 100k-th steps에서 최대 learning rate의 0.1로 감소합니다.
설정.RedPajama의 혼합물로 모델을 학습하고 Pile의 유효성 검사 세트를 학습 데이터와 별도로 유효성 검사 데이터를 수집하는 시나리오를 모방합니다. 학습 단계와 모델 크기의 확장 법칙에 맞추기 위해 30B 토큰에 대해 70M, 160M, 305M, 410M 모델을 일련으로 학습합니다. 모든 모델에 대해 배치 크기를 1M 토큰으로 설정하여 1B 모델의 경우 10만 단계, 소형 모델의 경우 3만 단계로 변환합니다. 2k 단계의 워밍업과 함께 코사인 학습률 감소를 적용하여 10만 번째 단계에서 최대 학습률의 0.1로 감소합니다.