In-Loop Training AblationsThroughout model training, we perform downstream evaluations to make decisions around model architecture, initialization, optimizers, learning rate schedule, and data mixtures. We call this our _online_ evaluation as it runs in-loop every 1000 training steps (or ~4B training tokens) and provides an early and continuous signal on the quality of the model being trained. These evaluations rely on many of the core tasks and experiment settings used for our _offline_ evaluation detailed in Section 4.1, which also mirrors the task and evaluation structure of the EleutherAI eval harness (Gao et al., 2023).
루프 내 Training 절제모델 학습 전반에 걸쳐 다운스트림 평가를 수행하여 모델 아키텍처, 초기화, Optimizer, Learning Rate 스케줄 및 데이터 혼합에 대한 결정을 내립니다. 이를 1000번의 훈련 단계(또는 약 40억 개의 훈련 토큰)마다 루프 내에서 실행되며 훈련 중인 모델의 품질에 대한 조기 및 지속적인 신호를 제공하므로 _온라인_ 평가라고 부릅니다. 이러한 평가는 섹션 4.1에서 자세히 설명한 _오프라인_ 평가에 사용되는 많은 핵심 작업 및 실험 설정에 의존하며, 이는 또한 EleutherAI 평가 하네스(Gao et al., 2023)의 작업 및 평가 구조를 반영합니다.
루프 내 트레이닝 절제모델 학습 전반에 걸쳐 다운스트림 평가를 수행하여 모델 아키텍처, 초기화, 옵티마이저, 학습 속도 스케줄 및 데이터 혼합에 대한 결정을 내립니다. 이를 1000번의 훈련 단계(또는 약 40억 개의 훈련 토큰)마다 루프 내에서 실행되며 훈련 중인 모델의 품질에 대한 조기 및 지속적인 신호를 제공하므로 _온라인_ 평가라고 부릅니다. 이러한 평가는 섹션 4.1에서 자세히 설명한 _오프라인_ 평가에 사용되는 많은 핵심 작업 및 실험 설정에 의존하며, 이는 또한 EleutherAI 평가 하네스(Gao et al., 2023)의 작업 및 평가 구조를 반영합니다.