Pretrained models are not always used as-is, but rather further fine-tuned to improve their performance, safety, and usability. Often models are first trained to follow instructions (Mishra et al., 2022; Wei et al., 2022; Sanh et al., 2022), and then further trained on human preferences (Ouyang et al., 2022) to improve the quality of their generations. We showcase the efficacy of using OLMo as a base model for further fine-tuning by training OLMo to be a general chat assistant following our Open Instruct (Tulu) data and training setup (Ivison et al., 2023). Our approach involves first performing instruction fine-tuning with a mixture of distilled and human-written instruction data and then further aligning the model with distilled preference data using Direct Preference Optimization (DPO) (Rafailov et al., 2023). We experimented with mixing the Tulu instruction data at the end of pretraining, as done in recent models such as DeepSeek-AI et al. (2024), but did not have conclusive findings.
사전 학습된 모델은 항상 그대로 사용되는 것이 아니라 성능, 안전성 및 사용성을 개선하기 위해 추가로 Fine-tuning됩니다. 종종 모델은 먼저 Instruction을 따르도록 학습한 다음(Mishra et al., 2022; Wei et al., 2022; Sanh et al., 2022) 생성 품질을 개선하기 위해 인간의 선호도에 대해 추가 학습(Ouyang et al., 2022)을 거칩니다. 저희는 OLMo를 Open Instruct(Tulu) 데이터 및 훈련 설정(Ivison et al., 2023)에 따라 일반 채팅 어시스턴트로 훈련하여 추가 Fine-tuning을 위한 기본 모델로서 OLMo를 사용하는 효과를 보여드립니다. 저희의 접근 방식은 먼저 증류 및 사람이 작성한 Instruction 데이터를 혼합하여 Instruction Fine-tuning을 수행한 다음, Direct Preference Optimization (DPO)(Rafailov et al., 2023)를 사용하여 증류된 선호도 데이터와 모델을 추가로 정렬하는 것입니다. 최근 모델(DeepSeek-AI 등, 2024)에서와 같이 사전 학습이 끝날 때 Tulu Instruction 데이터를 혼합하는 방법을 실험해 보았지만 결정적인 결과를 얻지는 못했습니다.
사전 학습된 모델은 항상 그대로 사용되는 것이 아니라 성능, 안전성 및 사용성을 개선하기 위해 추가로 미세 조정됩니다. 종종 모델은 먼저 지침을 따르도록 학습한 다음(Mishra et al., 2022; Wei et al., 2022; Sanh et al., 2022) 생성 품질을 개선하기 위해 인간의 선호도에 대해 추가 학습(Ouyang et al., 2022)을 거칩니다. 저희는 OLMo를 Open Instruct(Tulu) 데이터 및 훈련 설정(Ivison et al., 2023)에 따라 일반 채팅 어시스턴트로 훈련하여 추가 훈련을 위한 기본 모델로서 OLMo를 사용하는 효과를 보여드립니다. 저희의 접근 방식은 먼저 증류 및 사람이 작성한 지침 데이터를 혼합하여 지침 미세 조정을 수행한 다음, 직접 선호도 최적화(DPO)(Rafailov et al., 2023)를 사용하여 증류된 선호도 데이터와 모델을 추가로 정렬하는 것입니다. 최근 모델(DeepSeek-AI 등, 2024)에서와 같이 사전 학습이 끝날 때 툴루 지침 데이터를 혼합하는 방법을 실험해 보았지만 결정적인 결과를 얻지는 못했습니다.