The checkpoint used for evaluating OLMo-7B is trained until 2.46T tokens on the Dolma (Soldaini et al., 2024) dataset with a linear learning rate decay schedule mentioned in Section 3.2. In our experiments, we find that tuning this checkpoint further on the Dolma dataset for 1000 steps with the learning rate linearly decayed to 0 boosts model performance on perplexity and end-task evaluation suites described in Section 2.4. We compare OLMo with other publicly available models including LLaMA-7B (Touvron et al., 2023a), LLaMA-7B (Touvron et al., 2023b), MPT-7B (MosaicML NLP Team, 2023), Pythia-6.9B (Biderman et al., 2023), Falcon-7B (Almazrouei et al., 2023) and RPJ-INCITE-7B (Together Computer, 2023).
OLMo-7B를 평가하는 데 사용되는 checkpoint는 섹션 3.2에 언급된 linear Learning Rate decay schedule로 Dolma(Soldaini et al., 2024) 데이터 세트에서 2.46T 토큰까지 학습됩니다. 실험 결과, 이 checkpoint를 Dolma 데이터 세트에서 Learning Rate가 0으로 선형 감소된 상태에서 1000단계 동안 추가로 조정하면 2.4절에 설명된 Perplexity 및 최종 작업 평가 제품군에서 모델 성능이 향상되는 것을 확인했습니다. OLMo를 LLaMA-7B(Touvron et al., 2023a), LLaMA-7B(Touvron et al., 2023b), MPT-7B(MosaicML NLP Team, 2023), Pythia-6.9B(Biderman et al., 2023), Falcon-7B(Almazrouei et al., 2023), RPJ-INCITE-7B(Together Computer, 2023) 등 공개적으로 사용 가능한 다른 모델과 비교합니다.
OLMo-7B를 평가하는 데 사용되는 체크포인트는 섹션 3.2에 언급된 선형 학습률 감소 일정으로 Dolma(Soldaini et al., 2024) 데이터 세트에서 2.46T 토큰까지 학습됩니다. 실험 결과, 이 체크포인트를 Dolma 데이터 세트에서 학습률이 0으로 선형 감소된 상태에서 1000단계 동안 추가로 조정하면 2.4절에 설명된 난해도 및 최종 작업 평가 제품군에서 모델 성능이 향상되는 것을 확인했습니다. OLMo를 LLaMA-7B(Touvron et al., 2023a), LLaMA-7B(Touvron et al., 2023b), MPT-7B(MosaicML NLP Team, 2023), Pythia-6.9B(Biderman et al., 2023), Falcon-7B(Almazrouei et al., 2023), RPJ-INCITE-7B(Together Computer, 2023) 등 공개적으로 사용 가능한 다른 모델과 비교합니다.