SetupWe evaluate OLMo before adaptation, and after both the supervised fine-tuning and DPO training stage, focusing on the safety and chat evaluations used by Wang et al. (2023). We additionally compare to officially released instruction-tuned variants of the models from Table 6. We finally also compare to Tulu 2 models to compare against models trained using the same post-training data mixes and procedures.
설정Wang et al. (2023)에서 사용한 안전성 및 채팅 평가에 중점을 두고 적응 전, 그리고 Supervised Fine-tuning 및 DPO 훈련 단계 후에 OLMo를 평가합니다. 또한 표 6의 모델에서 공식적으로 출시된 Instruction-tuned 변형과 비교합니다. 마지막으로 동일한 사후 학습 데이터 혼합 및 절차를 사용하여 학습된 모델과 비교하기 위해 Tulu 2 모델과도 비교합니다.
설정Wang et al. (2023)에서 사용한 안전성 및 채팅 평가에 중점을 두고 적응 전, 그리고 지도 미세 조정 및 DPO 훈련 단계 후에 OLMo를 평가합니다. 또한 표 6의 모델에서 공식적으로 출시된 지침 조정된 변형과 비교합니다. 마지막으로 동일한 사후 학습 데이터 혼합 및 절차를 사용하여 학습된 모델과 비교하기 위해 Tulu 2 모델과도 비교합니다.