ResultsWe find that instruction tuning considerably improves the performance and safety of OLMo, increasing MMLU performance by a wide margin and improving ToxiGen and TruthfulQA scores - especially after DPO training. Additionally, we find that OLMo outperforms most other chat variants after both initial instruction tuning (OLMo +SFT) and additional preference alignment (OLMo +SFT+DPO), highlighting both the strength of OLMo as a base model and the strength of the Tulu mix used to perform adaptation training. However, we find there is still a gap with Tulu 2, which is trained by applying the Tulu mix on Llama 2.
결과 우리는 Instruction Tuning이 OLMo의 성능과 안전성을 크게 향상시켜 MMLU 성능을 크게 향상시키고, 특히 DPO 훈련 후 ToxiGen 및 TruthfulQA 점수를 개선하는 것을 확인했습니다. 또한, 초기 Instruction Tuning(OLMo +SFT)과 추가 선호도 정렬(OLMo +SFT+DPO) 후에도 OLMo가 대부분의 다른 채팅 변형보다 성능이 뛰어나다는 것을 확인하여, OLMo가 기본 모델로서의 강점과 적응 훈련을 수행하는 데 사용된 Tulu mix의 강점을 강조합니다. 그러나 Tulu 2는 Llama 2에 Tulu mix를 적용하여 훈련되었기 때문에 여전히 Tulu 2와의 격차가 존재합니다.
결과OLMo의 성능과 안전성을 크게 향상시켜 MMLU 성능을 크게 향상시키고, 특히 DPO 훈련 후 ToxiGen 및 TruthfulQA 점수를 개선하는 등 지시 튜닝이 OLMo의 성능을 크게 향상시키는 것을 확인했습니다. 또한, 초기 지시 튜닝(OLMo +SFT)과 추가 선호도 정렬(OLMo +SFT+DPO) 후에도 OLMo가 대부분의 다른 채팅 변형보다 성능이 뛰어나다는 것을 확인하여, OLMo가 기본 모델로서의 강점과 적응 훈련을 수행하는 데 사용된 툴루 믹스의 강점을 강조합니다. 그러나 툴루 2는 람다 2에 툴루 믹스를 적용하여 훈련되었기 때문에 여전히 툴루 2와의 격차가 존재합니다.