In this work, we propose CodecLM to tailor synthetic data for LLM alignment with different target instruction distributions and LLMs. We show that CodecLM effectively captures the underlying instruction distribution via instruction metadata, and further tailor the most effective instruction-response pairs through Self-Rubrics and Contrastive Filtering. CodecLM provides a potent solution towards adapting LLMs for customized uses, without the necessity of human annotation. We believe CodecLM serves as a general framework for targeted LLM alignment, which opens the door to multiple promising research directions within the framework, such as richer metadata definition, better prompt design, and more reliable LLM-based scorer. CodecLM can also benefit from orthogonal research fields, and we continue the discussion in Ethical Considerations and Limitations sections.
이 작업에서는 다양한 대상 Instruction 분포와 LLM에 맞게 합성 데이터를 조정하기 위해 CodecLM을 제안합니다. Instruction 메타데이터를 통해 Instruction 분포를 효과적으로 캡처하고, Self-Rubrics 및 Contrastive Filtering을 통해 가장 효과적인 Instruction-응답 쌍을 추가로 조정하는 CodecLM을 소개합니다. CodecLM은 사람의 주석 없이도 맞춤형 용도에 맞게 LLM을 조정할 수 있는 강력한 솔루션을 제공합니다. 우리는 CodecLM이 목표 LLM 정렬을 위한 일반적인 프레임워크 역할을 하며, 이 프레임워크 내에서 더 풍부한 메타데이터 정의, 더 나은 프롬프트 설계, 더 신뢰할 수 있는 LLM 기반 스코어와 같은 여러 가지 유망한 연구 방향의 문을 열어준다고 믿습니다. CodecLM은 직교하는 연구 분야의 혜택도 누릴 수 있으며, 윤리적 고려 사항 및 제한 사항 섹션에서 이에 대한 논의를 계속합니다.
이 작업에서는 다양한 대상 명령어 분포와 LLM에 맞게 합성 데이터를 조정하기 위해 CodecLM을 제안합니다. 명령어 메타데이터를 통해 명령어 분포를 효과적으로 캡처하고, Self-Rubrics 및 대조 필터링을 통해 가장 효과적인 명령어-응답 쌍을 추가로 조정하는 CodecLM을 소개합니다. 코덱LM은 사람의 주석 없이도 맞춤형 용도에 맞게 LLM을 조정할 수 있는 강력한 솔루션을 제공합니다. 우리는 CodecLM이 목표 LLM 정렬을 위한 일반적인 프레임워크 역할을 하며, 이 프레임워크 내에서 더 풍부한 메타데이터 정의, 더 나은 프롬프트 설계, 더 신뢰할 수 있는 LLM 기반 스코어와 같은 여러 가지 유망한 연구 방향의 문을 열어준다고 믿습니다. 코덱LM은 직교하는 연구 분야의 혜택도 누릴 수 있으며, 윤리적 고려 사항 및 제한 사항 섹션에서 이에 대한 논의를 계속합니다.