Upon analyzing the graphs, it is evident that while the trend of increasing performance with larger datasets is present, the actual scores for each model at various training checkpoints do not precisely align with the expected trajectory of the scaling law. This discrepancy may stem from the fact that prior research often used loss as a measure of model performance. In contrast, our experiments employ specific downstream task performance metrics. Given that scoring methods vary and dataset distributions differ, there will be a certain degree of divergence from the original scaling law.
그래프를 분석해 보면, 데이터 세트가 클수록 성능이 향상되는 추세는 존재하지만, 다양한 훈련 체크포인트에서 각 모델의 실제 점수가 scaling law의 예상 궤적과 정확히 일치하지 않는다는 것을 알 수 있습니다. 이러한 불일치는 이전 연구에서 모델 성능의 척도로 loss를 사용하는 경우가 많았다는 사실에서 기인할 수 있습니다. 반면에 저희의 실험에서는 특정 downstream task 성능 메트릭을 사용합니다. 채점 방법과 데이터 세트 분포가 다르기 때문에 원래의 scaling law에서 어느 정도 벗어날 수 있습니다.
그래프를 분석해 보면, 데이터 세트가 클수록 성능이 향상되는 추세는 존재하지만, 다양한 훈련 체크포인트에서 각 모델의 실제 점수가 스케일링 법칙의 예상 궤적과 정확히 일치하지 않는다는 것을 알 수 있습니다. 이러한 불일치는 이전 연구에서 모델 성능의 척도로 손실을 사용하는 경우가 많았다는 사실에서 기인할 수 있습니다. 반면에 저희의 실험에서는 특정 다운스트림 작업 성능 메트릭을 사용합니다. 채점 방법과 데이터 세트 분포가 다르기 때문에 원래의 스케일링 법칙에서 어느 정도 벗어날 수 있습니다.