Figure 2: Overview of the proposed CodecLM. First, the strong LLM \(f_{s}\) encodes the seed instruction into instruction metadata, specifying its use case and skills required for responses. Next, \(f_{s}\) decodes metadata into basic instructions. Meanwhile, Self-Rubrics leverages \(f_{s}\) to generate rubrics and actions to improve the basic instruction, tailoring them for the downstream task. Finally, Contrastive Filtering uses a scoring function \(S\) to compares \(f_{s}\) and \(f_{t}\)’s responses. The most effective pairs are selected for aligning the LLM, while less effective instructions are sent for further improvement. In this figure, the strong LLM’s response is winning against the target one’s, so we select the corresponding pair for instruction tuning the target LLM.
그림 2: 제안된 CodecLM 개요. 먼저, 강력한 LLM \(f_{s}\)는 시드 instruction을 instruction metadata로 인코딩하여 사용 사례와 응답에 필요한 skills을 지정합니다. 다음으로, \(f_{s}\)는 metadata를 기본 instructions로 디코딩합니다. 한편, Self-Rubrics는 \(f_{s}\)를 활용하여 rubrics와 actions을 생성하여 기본 instruction을 개선하고 downstream 작업에 맞게 조정합니다. 마지막으로, Contrastive Filtering은 점수 함수 \(S\)를 사용하여 \(f_{s}\)와 \(f_{t}\)의 응답을 비교합니다. 가장 효과적인 쌍은 LLM을 정렬하기 위해 선택되며, 효과가 떨어지는 instructions는 추가 개선을 위해 전송됩니다. 이 그림에서 강력한 LLM의 응답이 대상 LLM의 응답에 비해 우세하므로 대상 LLM의 Instruction Tuning을 위해 해당 쌍을 선택합니다.
그림 2: 제안된 코덱LM 개요. 먼저, 강력한 LLM \(f_{s}\)는 시드 명령을 인스트럭션 메타데이터로 인코딩하여 사용 사례와 응답에 필요한 스킬을 지정합니다. 다음으로, \(f_{s}\)는 메타데이터를 기본 명령어로 디코딩합니다. 한편, 셀프-루브릭스는 \(f_{s}\)를 활용하여 루브릭과 동작을 생성하여 기본 명령을 개선하고 다운스트림 작업에 맞게 조정합니다. 마지막으로, 대조 필터링은 점수 함수 \(S\)를 사용하여 \(f_{s}\)와 \(f_{t}\)의 응답을 비교합니다. 가장 효과적인 쌍은 LLM을 정렬하기 위해 선택되며, 효과가 떨어지는 명령어는 추가 개선을 위해 전송됩니다. 이 그림에서 강력한 LLM의 응답이 대상 LLM의 응답에 비해 우세하므로 대상 LLM의 명령어 튜닝을 위해 해당 쌍을 선택합니다.