**Instruction Tuning for LLM Alignment.** Tuning LLM to faithfully follow instructions and align with diverse human preferences remains a significant challenge Efrat and Levy (2020). Early research primarily focused on cross-task generalization, where models were fine-tuned on various public NLP datasets to improve performance on diverse tasks Raffel et al. (2020); Wei et al. (2021); Aribandi et al. (2021); Victor et al. (2022); Chung et al. (2022). More recently, researchers have extended instruction tuning to open-domains, characterized by a wider range of formats and task types. This shift has been driven by crowdsourcing human-generated instruction-response pairs Ouyang et al. (2022); Kopf et al. (2023); Zhou et al. (2023) and LLM-generated data Taori et al. (2023); Chiang et al. (2023). Unlike prior work, CodecLM presents a unique approach for tailoring synthetic data to specific downstream tasks without human annotation, utilizing the concept of instruction metadata.
**Instruction Tuning for LLM Alignment.** 명령을 충실히 따르고 다양한 인간의 선호도에 맞춰 LLM을 조정하는 것은 여전히 중요한 과제입니다(Efrat and Levy, 2020). 초기 연구는 주로 다양한 공개 NLP 데이터 세트에서 모델을 Fine-tuning하여 다양한 작업에서 성능을 개선하는 교차 작업 일반화에 초점을 맞추었습니다(Raffel et al., 2020; Wei et al., 2021; Aribandi et al., 2021; Victor et al., 2022; Chung et al., 2022). 최근에는 더 광범위한 형식과 작업 유형을 특징으로 하는 오픈 도메인에 Instruction Tuning을 확장한 연구자들이 있습니다. 이러한 변화는 크라우드소싱을 통해 인간이 생성한 명령어-응답 쌍(Ouyang et al., 2022; Kopf et al., 2023; Zhou et al., 2023)과 LLM이 생성한 데이터(Taori et al., 2023; Chiang et al., 2023)를 활용하고 있습니다. 이전 연구와 달리 CodecLM은 Instruction metadata 개념을 활용하여 인간의 주석 없이 합성 데이터를 특정 다운스트림 작업에 맞게 조정하는 고유한 접근 방식을 제시합니다.
**LLM 정렬을 위한 명령어 튜닝**. 명령을 충실히 따르고 다양한 인간의 선호도에 맞춰 LLM을 조정하는 것은 여전히 중요한 과제입니다(Efrat and Levy, 2020). 초기 연구는 주로 다양한 공개 NLP 데이터 세트에서 모델을 미세 조정하여 다양한 작업에서 성능을 개선하는 교차 작업 일반화에 초점을 맞추었습니다(Raffel et al., 2020; Wei et al., 2021; Aribandi et al., 2021; Victor et al., 2022; Chung et al., 2022). 최근에는 더 광범위한 형식과 작업 유형을 특징으로 하는 오픈 도메인에 명령어 튜닝을 확장한 연구자들이 있습니다. 이러한 변화는 크라우드소싱을 통해 인간이 생성한 명령어-응답 쌍(Ouyang et al., 2022; Kopf et al., 2023; Zhou et al., 2023)과 LLM이 생성한 데이터(Taori et al., 2023; Chiang et al., 2023)를 활용하고 있습니다. 이전 연구와 달리 CodecLM은 명령 메타데이터 개념을 활용하여 인간의 주석 없이 합성 데이터를 특정 다운스트림 작업에 맞게 조정하는 고유한 접근 방식을 제시합니다.