Figure 1: Left: Actual and predicted loss trajectories of a 2B model on the C4 test data (Section 4.1). Right: Actual and predicted loss trajectories of a 33B model on the code test data (Section 4.2). The actual and predicted loss trajectories closely align, especially after the initial warm-up stage.
그림 1: 왼쪽: C4 테스트 데이터에서 2B 모델의 실제 및 예측 Loss 궤적(섹션 4.1). 오른쪽: 코드 테스트 데이터에서 33B 모델의 실제 및 예측 Loss 궤적(섹션 4.2). 실제 및 예측 Loss 궤적은 특히 초기 워밍업 단계 이후에 매우 유사하게 일치합니다.
그림 1: 왼쪽: C4 테스트 데이터에서 2B 모델의 실제 및 예측 손실 궤적(섹션 4.1). 오른쪽: 코드 테스트 데이터에서 33B 모델의 실제 및 예측 손실 궤적(섹션 4.2). 실제 및 예측 손실 궤적은 특히 초기 워밍업 단계 이후에 매우 유사하게 일치합니다.