We first verify that we can indeed observe and quantify performance saturation for the Pythia checkpoints, as they are the only released intermediate checkpoints for a wide range of model sizes. We measure the cross-entropy of Pythia checkpoints on 50k tokens randomly sampled from their pretraining dataset, i.e. The Pile (Gao et al., 2020).
먼저, 다양한 모델 크기에 대해 공개된 유일한 중간 체크포인트인 Pythia 체크포인트에 대해 실제로 성능 포화를 관찰하고 정량화할 수 있는지 확인합니다. 우리는 Pythia 체크포인트의 pretraining 데이터 세트에서 무작위로 샘플링한 50,000개의 토큰에 대한 cross-entropy를 측정합니다(Gao et al., 2020).
먼저, 다양한 모델 크기에 대해 공개된 유일한 중간 체크포인트인 Pythia 체크포인트에 대해 실제로 성능 포화를 관찰하고 정량화할 수 있는지 확인합니다. 우리는 Pythia 체크포인트의 전처리 데이터 세트에서 무작위로 샘플링한 50,000개의 토큰에 대한 교차 엔트로피를 측정합니다(Gao et al., 2020).