In Figure 1 we plot the accuracy score progression of 8 core end-tasks. All tasks, except OBQA, show an upward trend in accuracy numbers as OLMo-7B is trained on more tokens. A sharp upward tick in accuracy of many tasks between the last and the second to last step shows us the benefit of linearly reducing the LR to 0 over the final 1000 training steps. See Table 9 in Appendix A for additional evaluation results and discussion.
그림 1은 8개의 핵심 최종 작업의 정확도 점수 진행을 그래프로 표시한 것입니다. OBQA를 제외한 모든 작업은 OLMo-7B가 더 많은 토큰에 대해 학습함에 따라 정확도 수치가 상승하는 추세를 보입니다. 마지막 단계와 두 번째 단계 사이의 많은 작업의 정확도가 급격히 상승하는 것은 최종 1000개의 훈련 단계에서 Learning Rate를 0으로 선형적으로 감소시키는 것이 얼마나 유리한지 보여줍니다. 추가 평가 결과 및 논의는 부록 A의 표 9를 참조하세요.
그림 1은 8개의 핵심 최종 작업의 정확도 점수 진행을 그래프로 표시한 것입니다. OBQA를 제외한 모든 작업은 OLMo-7B가 더 많은 토큰에 대해 학습함에 따라 정확도 수치가 상승하는 추세를 보입니다. 마지막 단계와 두 번째 단계 사이의 많은 작업의 정확도가 급격히 상승하는 것은 최종 1000개의 훈련 단계에서 LR을 0으로 선형적으로 감소시키는 것이 얼마나 유리한지 보여줍니다. 추가 평가 결과 및 논의는 부록 A의 표 9를 참조하세요.