Uncovering early-stage metrics that reflect final model performance is one core principle for large-scale pretraining. The existing scaling law demonstrates the power-law correlation between pretraining loss and training flops, which serves as an important indicator of the current training state for large language models. However, this principle only focuses on the model's compression properties on the training data, resulting in an inconsistency with the ability improvements on the downstream tasks. Some follow-up works attempted to extend the scaling-law to more complex metrics (such as hyperparameters), but still lacked a comprehensive analysis of the dynamic differences among various capabilities during pretraining. To address the aforementioned limitations, this paper undertakes a comprehensive comparison of model capabilities at various pretraining intermediate checkpoints. Through this analysis, we confirm that specific downstream metrics exhibit similar training dynamics across models of different sizes, up to 67 billion parameters. In addition to our core findings, we've reproduced Amber and OpenLLaMA, releasing their intermediate checkpoints. This initiative offers valuable resources to the research community and facilitates the verification and exploration of LLM pretraining by open-source researchers. Besides, we provide empirical summaries, including performance comparisons of different models and capabilities, and tuition of key metrics for different training phases. Based on these findings, we provide a more user-friendly strategy for evaluating the optimization state, offering guidance for establishing a stable pretraining process.
최종 모델 성능을 반영하는 초기 단계 metrics를 발견하는 것은 대규모 pretraining의 핵심 원칙 중 하나입니다. 기존의 scaling law는 pretraining loss와 training flops 사이의 거듭제곱 법칙적 상관관계를 보여주며, 이는 Large Language Models (LLMs)의 현재 training 상태를 나타내는 중요한 지표로 사용됩니다. 그러나 이 원칙은 training 데이터에 대한 모델의 압축 특성에만 초점을 맞추기 때문에 downstream 작업에 대한 능력 향상과 일관성이 없습니다. 일부 후속 연구에서는 scaling law를 더 복잡한 metrics (예: hyperparameters)로 확장하려고 시도했지만, pretraining 중 다양한 역량 간의 동적 차이에 대한 포괄적인 분석이 여전히 부족했습니다. 앞서 언급한 한계를 해결하기 위해 이 논문에서는 다양한 pretraining 중간 checkpoints에서 모델 역량을 종합적으로 비교합니다. 이 분석을 통해 특정 downstream metrics가 최대 670억 개의 파라미터를 가진 다양한 크기의 모델에서 유사한 training dynamics를 보이는 것을 확인했습니다. 핵심 연구 결과 외에도 Amber와 OpenLLaMA를 재현하여 중간 checkpoints를 공개했습니다. 이 이니셔티브는 연구 커뮤니티에 귀중한 리소스를 제공하고 오픈 소스 연구자들이 LLM pretraining을 검증하고 탐색할 수 있도록 지원합니다. 또한 다양한 모델과 기능의 성능 비교, 다양한 training 단계에 대한 주요 metrics 교육 등의 경험적 요약을 제공합니다. 이러한 연구 결과를 바탕으로 optimization 상태를 평가할 수 있는 보다 사용자 친화적인 전략을 제공하여 안정적인 pretraining 프로세스를 구축하기 위한 지침을 제공합니다.
최종 모델 성능을 반영하는 초기 단계 메트릭을 발견하는 것은 대규모 사전 학습의 핵심 원칙 중 하나입니다. 기존의 스케일링 법칙은 사전 학습 손실과 학습 플롭 사이의 거듭제곱 법칙적 상관관계를 보여주며, 이는 대규모 언어 모델의 현재 학습 상태를 나타내는 중요한 지표로 사용됩니다. 그러나 이 원칙은 훈련 데이터에 대한 모델의 압축 특성에만 초점을 맞추기 때문에 다운스트림 작업에 대한 능력 향상과 일관성이 없습니다. 일부 후속 연구에서는 스케일링 법칙을 더 복잡한 메트릭(예: 하이퍼파라미터)으로 확장하려고 시도했지만, 사전 학습 중 다양한 역량 간의 동적 차이에 대한 포괄적인 분석이 여전히 부족했습니다. 앞서 언급한 한계를 해결하기 위해 이 논문에서는 다양한 사전 학습 중간 체크포인트에서 모델 역량을 종합적으로 비교합니다. 이 분석을 통해 특정 다운스트림 메트릭이 최대 670억 개의 파라미터를 가진 다양한 크기의 모델에서 유사한 훈련 동역학을 보이는 것을 확인했습니다. 핵심 연구 결과 외에도 Amber와 OpenLLaMA를 재현하여 중간 체크포인트를 공개했습니다. 이 이니셔티브는 연구 커뮤니티에 귀중한 리소스를 제공하고 오픈 소스 연구자들이 LLM 사전 학습을 검증하고 탐색할 수 있도록 지원합니다. 또한 다양한 모델과 기능의 성능 비교, 다양한 훈련 단계에 대한 주요 메트릭 교육 등의 경험적 요약을 제공합니다. 이러한 연구 결과를 바탕으로 최적화 상태를 평가할 수 있는 보다 사용자 친화적인 전략을 제공하여 안정적인 사전 학습 프로세스를 구축하기 위한 지침을 제공합니다.