We measure the scaling law along the data and model axes by training SLMs of 6 sizes ranging from 0.04B to 2B, each with 6 decayed model starting from checkpoint of \(10N\) to \(60N\) data during the stable training stage. The final loss is evaluated on five held-out evaluation dataset. To potentially compare the loss when the model uses different tokenizer, we take the average of loss by number of bytes instead of number of tokens, following Achiam et al. (2023). The final loss of each pair of data size and model size is shown in the blue lines in Figure 17.
안정적인 훈련 단계에서 0.04B에서 2B까지 6가지 크기의 SLM을 훈련하고, 각각 \(10N\)에서 \(60N\) 데이터의 체크포인트부터 시작하여 6개의 감쇠 모델을 사용하여 데이터 및 모델 축에 따른 scaling law를 측정합니다. 최종 loss는 5개의 보류된 평가 데이터 세트에 대해 평가됩니다. 모델이 서로 다른 tokenizer를 사용할 때의 loss를 잠재적으로 비교하기 위해 Achiam 등(2023)에 따라 토큰 수 대신 바이트 수로 loss의 평균을 구합니다. 데이터 크기와 모델 크기의 각 쌍의 최종 loss는 그림 17의 파란색 선으로 표시됩니다.
안정적인 훈련 단계에서 0.04B에서 2B까지 6가지 크기의 SLM을 훈련하고, 각각 \(10N\)에서 \(60N\) 데이터의 체크포인트부터 시작하여 6개의 감쇠 모델을 사용하여 데이터 및 모델 축에 따른 스케일링 법칙을 측정합니다. 최종 손실은 5개의 보류된 평가 데이터 세트에 대해 평가됩니다. 모델이 서로 다른 토큰화를 사용할 때의 손실을 잠재적으로 비교하기 위해 Achiam 등(2023)에 따라 토큰 수 대신 바이트 수로 손실의 평균을 구합니다. 데이터 크기와 모델 크기의 각 쌍의 최종 손실은 그림 17의 파란색 선으로 표시됩니다.