The result that scaling training tokens should grow at roughly the same rate as the number of model parameters has been replicated by others, such as Anil et al. (2023). Similarly, Bi et al. (2024) find that training tokens and model parameters should be scaled roughly proportionally, but finds that this is sensitive to the quality of the data, and that a lower token-per-parameter ratio is optimal when training on a higher-quality data.
훈련 토큰의 크기가 모델 파라미터 수와 거의 같은 비율로 증가해야 한다는 결과는 Anil et al. (2023)과 같은 다른 연구자들에 의해 복제되었습니다. 마찬가지로 Bi et al. (2024)은 훈련 토큰과 모델 파라미터의 규모가 대략 비례하여 확장되어야 한다는 것을 발견했지만, 이는 데이터의 품질에 민감하며 더 높은 품질의 데이터로 훈련할 때 더 낮은 token-per-parameter 비율이 최적이라는 것을 발견했습니다.
훈련 토큰의 크기가 모델 파라미터 수와 거의 같은 비율로 증가해야 한다는 결과는 Anil et al. (2023)과 같은 다른 연구자들에 의해 복제되었습니다. 마찬가지로 Bi et al. (2024)은 훈련 토큰과 모델 파라미터의 규모가 대략 비례하여 확장되어야 한다는 것을 발견했지만, 이는 데이터의 품질에 민감하며 더 높은 품질의 데이터로 훈련할 때 더 낮은 토큰 대 파라미터 비율이 최적이라는 것을 발견했습니다.