Instruction tuning has emerged as the key in aligning large language models (LLMs) with specific task instructions, thereby mitigating the discrepancy between the next-token prediction objective and users' actual goals. To reduce the labor and time cost to collect or annotate data by humans, researchers start to explore the use of LLMs to generate instructionaligned synthetic data. Recent works focus on generating diverse instructions and applying LLM to increase instruction complexity, often neglecting downstream use cases. It remains unclear how to _tailor_ high-quality data to elicit better instruction-following abilities in different target instruction distributions and LLMs. To this end, we introduce **CodecLM**, a general framework for adaptively generating high-quality synthetic data for LLM alignment with different downstream instruction distributions and LLMs. Drawing on the Encode-Decode principles, we use LLMs as codecs to guide the data generation process. We first _encode_ seed instructions into metadata, which are concise keywords generated on-the-fly to capture the target instruction distribution, and then _decode_ metadata to create tailored instructions. We also introduce Self-Rubrics and Contrastive Filtering during decoding to tailor data-efficient samples. Extensive experiments on four open-domain instruction following benchmarks validate the effectiveness of CodecLM over the current state-of-the-arts.
Instruction Tuning은 Large Language Models (LLMs)을 특정 작업 지침에 맞추는 데 있어 핵심적인 역할을 하며, 다음 토큰 예측 목표와 사용자의 실제 목표 간의 불일치를 완화하는 데 중요한 역할을 합니다. 인간이 데이터를 수집하거나 주석을 달기 위한 노동력과 시간 비용을 줄이기 위해 연구자들은 LLM을 사용하여 지침에 부합하는 합성 데이터를 생성하는 방법을 탐색하기 시작했습니다. 최근 연구에서는 다양한 Instructions을 생성하고 Instruction의 복잡성을 높이기 위해 LLM을 적용하는 데 중점을 두고 있으며, 다운스트림 사용 사례는 종종 소홀히 하고 있습니다. 다양한 대상 Instruction 분포와 LLM에서 더 나은 Instruction 수행 능력을 이끌어내기 위해 고품질 데이터를 _맞춤화_하는 방법은 아직 명확하지 않습니다. 이를 위해 저희는 다양한 다운스트림 Instruction 분포와 LLM을 사용하여 LLM 정렬을 위한 고품질 합성 데이터를 적응적으로 생성하기 위한 일반 프레임워크인 **CodecLM**을 소개합니다. Encode-Decode 원칙을 바탕으로 LLM을 코덱으로 사용하여 데이터 생성 프로세스를 안내합니다. 먼저 시드 명령을 메타데이터로 _인코딩_하고, 이 메타데이터는 대상 명령 분포를 포착하기 위해 즉석에서 생성된 간결한 키워드이며, 그런 다음 메타데이터를 _디코딩_하여 맞춤형 명령을 생성합니다. 또한 디코딩 중에 Self-Rubrics와 Contrastive Filtering을 도입하여 데이터 효율적인 샘플을 맞춤화합니다. 4개의 오픈 도메인 Instruction 수행 벤치마크에 대한 광범위한 실험을 통해 현재 최신 기술보다 CodecLM의 효과를 검증했습니다.
교육 튜닝은 대규모 언어 모델(LLM)을 특정 작업 지침에 맞추는 데 있어 핵심적인 역할을 하며, 다음 토큰 예측 목표와 사용자의 실제 목표 간의 불일치를 완화하는 데 중요한 역할을 합니다. 인간이 데이터를 수집하거나 주석을 달기 위한 노동력과 시간 비용을 줄이기 위해 연구자들은 LLM을 사용하여 지침에 부합하는 합성 데이터를 생성하는 방법을 탐색하기 시작했습니다. 최근 연구에서는 다양한 지침을 생성하고 지침의 복잡성을 높이기 위해 LLM을 적용하는 데 중점을 두고 있으며, 다운스트림 사용 사례는 종종 소홀히 하고 있습니다. 다양한 대상 지침 분포와 LLM에서 더 나은 지침 수행 능력을 이끌어내기 위해 고품질 데이터를 _맞춤화_하는 방법은 아직 명확하지 않습니다. 이를 위해 저희는 다양한 다운스트림 지침 분포와 LLM을 사용하여 LLM 정렬을 위한 고품질 합성 데이터를 적응적으로 생성하기 위한 일반 프레임워크인 **CodecLM**을 소개합니다. 인코딩-디코딩 원칙을 바탕으로 LLM을 코덱으로 사용하여 데이터 생성 프로세스를 안내합니다. 먼저 시드 명령을 메타데이터로 _인코딩_하고, 이 메타데이터는 대상 명령 분포를 포착하기 위해 즉석에서 생성된 간결한 키워드이며, 그런 다음 메타데이터를 _디코딩_하여 맞춤형 명령을 생성합니다. 또한 디코딩 중에 셀프 루브릭과 대조 필터링을 도입하여 데이터 효율적인 샘플을 맞춤화합니다. 4개의 오픈 도메인 명령어 수행 벤치마크에 대한 광범위한 실험을 통해 현재 최신 기술보다 CodecLM의 효과를 검증했습니다.