For _fine-tuning_ of EEVE-Korean models, we employed the Direct Preference Optimization (DPO; Rafailov et al.2023) based on LLaM-Factory implementation. To further enhance the models' capabilities of following Korean instructions, we translated the publicly available instruction datasets, specifically Orca5(Mukherjee et al., 2023; Lian et al., 2023) and UltraFeedback6(Cui et al., 2023) into Korean. In the process of translating these datasets into Korean, ensuring the integrity of programming code formats and correcting translation errors, such as instances where both the source and target languages were inadvertently translated into Korean, was crucial for maintaining the quality and effectiveness of our fine-tuned models. We named the fine-tuned models as EEVE-Korean-Instruct.
EEVE-Korean 모델의 _Fine-tuning_을 위해 LLaM-Factory 구현을 기반으로 한 Direct Preference Optimization (DPO; Rafailov et al.2023)를 사용했습니다. 한국어 명령어를 더욱 효과적으로 처리할 수 있도록 공개된 instruction 데이터 세트, 특히 Orca5(Mukherjee et al., 2023; Lian et al., 2023)와 UltraFeedback6(Cui et al., 2023)을 한국어로 번역했습니다. 이러한 데이터 세트를 한국어로 번역하는 과정에서 프로그래밍 코드 형식의 무결성을 보장하고 원문과 대본이 모두 한국어로 번역되는 등의 번역 오류를 수정하는 것은 Fine-tuning된 모델의 품질과 효율성을 유지하는 데 매우 중요했습니다. Fine-tuning된 모델을 EEVE-Korean-Instruct로 명명했습니다.
EEVE-Korean 모델의 _미세 조정_을 위해 LLaM-Factory 구현을 기반으로 한 직접 선호도 최적화(DPO; Rafailov et al.2023)를 사용했습니다. 한국어 명령어를 더욱 효과적으로 처리할 수 있도록 공개된 명령어 데이터 세트, 특히 Orca5(Mukherjee et al., 2023; Lian et al., 2023)와 UltraFeedback6(Cui et al., 2023)을 한국어로 번역했습니다. 이러한 데이터 세트를 한국어로 번역하는 과정에서 프로그래밍 코드 형식의 무결성을 보장하고 원문과 대본이 모두 한국어로 번역되는 등의 번역 오류를 수정하는 것은 미세 조정된 모델의 품질과 효율성을 유지하는 데 매우 중요했습니다. 미세 조정된 모델을 EEVE-Korean-Instruct로 명명했습니다.