**Data Generation for Instruction Tuning.** To address the high cost of human annotation for high-quality instruction-response pairs, several studies advocate for automating the data generation process Schick and Schutze (2021); Liu et al. (2022); Meng et al. (2023). Leveraging the in-context learning Brown et al. (2020) ability of LLMs, Wang et al. (2020), and et al. (2022); Honovich et al. (2022) prompt LLMs with seed instructions to generate synthetic ones. These are then fed to stronger LLMs, _e.g._, Chat-GPT, to generate responses for training the target (often smaller) LLM (Taori et al., 2023). As a representative work, WizardLM (Xu et al., 2023), designs a fixed set of human-crafted operations to increase complexity of instructions and control difficulty of generated data. Zhao et al. (2023); Zhou et al. (2023) further confirm the importance of instruction complexity for LLM alignment through empirical studies. Different from these works that rely on pre-defined rules without considering the downstream tasks, CodecLM enables automatically tailoring instructions for different downstream tasks and target LLMs. We also introduce Self-Rubrics and Contrastive Filtering to further identify the most effective instruction-response pairs.
**Instruction Tuning을 위한 데이터 생성**. 고품질 Instruction-응답 쌍에 대한 높은 인적 주석 비용을 해결하기 위해 몇몇 연구에서는 데이터 생성 프로세스를 자동화할 것을 주장합니다(Schick and Schutze, 2021); Liu et al. (2022); Meng et al. (2023). LLM의 In-Context Learning Brown et al. (2020) 능력을 활용하여 Wang et al. (2020), et al. (2022); Honovich et al. (2022)은 시드 Instruction으로 LLM을 프롬프트하여 합성 Instruction을 생성합니다. 이러한 Instruction은 강력한 LLM(예: Chat-GPT)에 입력되어 대상(소형) LLM을 훈련하기 위한 응답을 생성합니다(Taori et al., 2023). 대표적인 연구로, WizardLM(Xu et al., 2023)은 Instruction의 복잡성을 높이고 생성된 데이터의 난이도를 제어하기 위해 사람이 직접 만든 작업 집합을 고정적으로 설계했습니다. Zhao et al. (2023); Zhou et al. (2023)은 경험적 연구를 통해 LLM 정렬에 있어 Instruction 복잡성의 중요성을 추가로 확인했습니다. 다운스트림 작업을 고려하지 않고 사전 정의된 규칙에 의존하는 이러한 작업과는 달리, CodecLM은 다양한 다운스트림 작업과 대상 LLM에 맞게 Instruction을 자동으로 조정할 수 있습니다. 또한 가장 효과적인 Instruction-응답 쌍을 식별하기 위해 Self-Rubrics와 Contrastive Filtering을 도입했습니다.
**명령 튜닝을 위한 데이터 생성**. 고품질 명령어-응답 쌍에 대한 높은 인적 주석 비용을 해결하기 위해 몇몇 연구에서는 데이터 생성 프로세스를 자동화할 것을 주장합니다(Schick and Schutze, 2021); Liu et al. (2022); Meng et al. (2023). LLM의 인컨텍스트 학습 Brown et al. (2020) 능력을 활용하여 Wang et al. (2020), et al. (2022); Honovich et al. (2022)은 시드 명령어로 LLM을 프롬프트하여 합성 명령어를 생성합니다. 이러한 명령어는 강력한 LLM(예: Chat-GPT)에 입력되어 대상(소형) LLM을 훈련하기 위한 응답을 생성합니다(Taori et al., 2023). 대표적인 연구로, WizardLM(Xu et al., 2023)은 명령어의 복잡성을 높이고 생성된 데이터의 난이도를 제어하기 위해 사람이 직접 만든 작업 집합을 고정적으로 설계했습니다. Zhao et al. (2023); Zhou et al. (2023)은 경험적 연구를 통해 LLM 정렬에 있어 명령어 복잡성의 중요성을 추가로 확인했습니다. 다운스트림 작업을 고려하지 않고 사전 정의된 규칙에 의존하는 이러한 작업과는 달리, 코덱LM은 다양한 다운스트림 작업과 대상 LLM에 맞게 명령어를 자동으로 조정할 수 있습니다. 또한 가장 효과적인 명령어-응답어 쌍을 식별하기 위해 셀프 루브릭스와 대조 필터링을 도입했습니다.