In this work, we present a novel framework, **CodecLM**, which systematically generates tailored high-quality data to align LLMs for different downstream tasks. A high-level overview of CodecLM is shown in Figure 1. Inspired by the principles of Encode-Decode process Kramer (1991); Kingma and Welling (2013), we leverage a strong LLM as a codec to "encode" seed instructions from our target task into instruction _metadata_ and then "decode" the metadata into tailored synthetic instructions. The metadata serves as a word-level abstraction of the input instruction distribution, including the _use case_ and _skills_ for effective instruction following. It can be automatically generated by encoding seed instructions, or directly provided by users with a high-level anticipation of the downstream task.
이 작업에서는 다양한 다운스트림 작업에 맞게 LLM을 정렬하기 위해 맞춤형 고품질 데이터를 체계적으로 생성하는 새로운 프레임워크인 **CodecLM**을 소개합니다. CodecLM의 개괄적인 개요는 그림 1과 같습니다. Encode-Decode 프로세스의 원리 Kramer (1991); Kingma and Welling (2013)에서 영감을 받아 강력한 LLM을 codec으로 활용하여 대상 작업의 시드 instructions를 instruction _metadata_로 "encode"한 다음 metadata를 맞춤형 합성 instructions로 "decode"합니다. metadata는 효과적인 instruction 수행을 위한 _use case_ 및 _skills_을 포함하여 입력 instruction 분포의 단어 수준 추상화 역할을 합니다. 시드 instructions를 encoding하여 자동으로 생성하거나 사용자가 다운스트림 작업에 대한 높은 수준의 예상을 가지고 직접 제공할 수 있습니다.
이 작업에서는 다양한 다운스트림 작업에 맞게 LLM을 정렬하기 위해 맞춤형 고품질 데이터를 체계적으로 생성하는 새로운 프레임워크인 **CodecLM**을 소개합니다. 코덱LM의 개괄적인 개요는 그림 1과 같습니다. 인코딩-디코딩 프로세스의 원리 크레이머(1991); 킹마와 웰링(2013)에서 영감을 받아 강력한 LLM을 코덱으로 활용하여 대상 작업의 시드 명령을 명령 _메타데이터_로 "인코딩"한 다음 메타데이터를 맞춤형 합성 명령으로 "디코딩"합니다. 메타데이터는 효과적인 명령 수행을 위한 _사용 사례_ 및 _스킬_을 포함하여 입력 명령 분포의 단어 수준 추상화 역할을 합니다. 시드 명령을 인코딩하여 자동으로 생성하거나 사용자가 다운스트림 작업에 대한 높은 수준의 예상을 가지고 직접 제공할 수 있습니다.