Figure 1: Accuracy score progression of OLMo-7B on 8 core end-tasks score from Catwalk evaluation suite described in Section 2.4. We can see the benefit of decaying LR to 0 in the final 1000 steps of training on most tasks.
그림 1: 섹션 2.4에 설명된 Catwalk 평가 제품군에서 8개의 코어 엔드태스크 점수에 대한 OLMo-7B의 정확도 점수 진행 상황. 대부분의 작업에서 최종 1000단계의 학습에서 Learning Rate를 0으로 감소시키는 이점을 확인할 수 있습니다.
그림 1: 섹션 2.4에 설명된 캣워크 평가 제품군에서 8개의 코어 엔드태스크 점수에 대한 OLMo-7B의 정확도 점수 진행 상황. 대부분의 작업에서 최종 1000단계의 학습에서 LR을 0으로 감소시키는 이점을 확인할 수 있습니다.