We choose the models in Table 7 by choosing the 'canonical' best versions (that is, the best instruction-tuned or otherwise adapted models released by the same organisation) of the base models we compare against in Table 6. We additionally compare to Tulu 2 to show the current best models trained using the Tulu mix used to finetune OLMo. We display evaluations on MMLU, AlpacaEval, ToxiGen, and Truthfulness to focus on displaying how instruction tuning can generally help capabilities (MMLU), how the models perform in an open-ended chat setting (AlpacaEval), and to test how instruction tuning aids in model safety and truthfulness (AlpacaEval, ToxiGen). We additionally report OLMo's performance over the entire Tulu evaluation suite in Table 10.
표 7의 모델은 표 6에서 비교하는 기본 모델의 '표준' 최적 버전(즉, 동일한 조직에서 공개한 최적의 Instruction-tuned 또는 기타 적용 모델)을 선택하여 선택합니다. 또한 Tulu 2와 비교하여 OLMo를 Fine-tuning하는 데 사용된 Tulu 믹스를 사용하여 훈련된 현재 최상의 모델을 보여줍니다. MMLU, AlpacaEval, ToxiGen 및 진실성에 대한 평가를 표시하여 Instruction Tuning이 일반적으로 역량(MMLU)에 어떻게 도움이 되는지, 모델이 개방형 채팅 환경에서 어떻게 수행되는지(AlpacaEval), Instruction Tuning이 모델 안전 및 진실성에 어떻게 도움이 되는지 테스트하기 위해(AlpacaEval, ToxiGen)를 테스트합니다. 또한 표 10에는 전체 Tulu 평가 제품군에 대한 OLMo의 성능을 보고합니다.
표 7의 모델은 표 6에서 비교하는 기본 모델의 '표준' 최적 버전(즉, 동일한 조직에서 공개한 최적의 명령어 튜닝 또는 기타 적용 모델)을 선택하여 선택합니다. 또한 Tulu 2와 비교하여 OLMo를 미세 조정하는 데 사용된 Tulu 믹스를 사용하여 훈련된 현재 최상의 모델을 보여줍니다. MMLU, AlpacaEval, ToxiGen 및 진실성에 대한 평가를 표시하여 명령어 튜닝이 일반적으로 역량(MMLU)에 어떻게 도움이 되는지, 모델이 개방형 채팅 환경에서 어떻게 수행되는지(AlpacaEval), 명령어 튜닝이 모델 안전 및 진실성에 어떻게 도움이 되는지 테스트하기 위해(AlpacaEval, ToxiGen)를 테스트합니다. 또한 표 10에는 전체 Tulu 평가 제품군에 대한 OLMo의 성능을 보고합니다.