**LLM as Decoder for Instruction Generation.** Given the metadata \(\mathcal{M}\), we decode metadata into synthetic instructions, following a generation and tailoring paradigm. For each use case and skills pair in \(\mathcal{M}\), we list them as constraints to prompt the strong LLM \(f_{s}\) to generate multiple instructions. Therefore, the generated instructions are for the given use case, and require the given skills to be responded. Moreover, to prevent the LLM from generating repetitive instructions, we encourage its generation to be diverse in the prompt, and do not provide any demonstrations that the LLM might copy from. The example prompt template for generating basic instructions is in Figure 8, Appendix A.9. Continuing the decoding process, we then tailor the basic instructions for more effective alignment through Self-Rubrics (Section 4.2) and Contrastive Filtering (Section 4.3).
**Instruction 생성을 위한 Decoder로서의 LLM**. 메타데이터 \(\mathcal{M}\)이 주어지면, 생성 및 조정 패러다임에 따라 메타데이터를 합성 instructions로 디코딩합니다. 각 사용 사례 및 스킬 쌍에 대해 \(\mathcal{M}\)의 각 사용 사례 및 스킬 쌍에 대해 강력한 LLM \(f_{s}\)이 여러 개의 instructions를 생성하도록 프롬프트하는 제약 조건으로 나열합니다. 따라서 생성된 instructions는 주어진 사용 사례에 대한 것이며, 응답하려면 주어진 스킬이 필요합니다. 또한 LLM이 반복적인 instructions를 생성하는 것을 방지하기 위해 프롬프트에서 instructions의 다양성을 장려하고, LLM이 복사할 수 있는 데모를 제공하지 않습니다. 기본 instructions를 생성하기 위한 예제 프롬프트 템플릿은 그림 8, 부록 A.9에 나와 있습니다. 디코딩 과정을 계속하면 Self-Rubrics(4.2절)과 Contrastive Filtering(4.3절)을 통해 보다 효과적인 정렬을 위해 기본 instructions를 조정합니다.
**명령 생성을 위한 디코더로서의 LLM**. 메타데이터 \mathcal{M}\)이 주어지면, 생성 및 조정 패러다임에 따라 메타데이터를 합성 명령으로 디코딩합니다. 각 사용 사례 및 스킬 쌍에 대해 \mathcal{M}\)의 각 사용 사례 및 스킬 쌍에 대해 강력한 LLM \(f_{s}\)이 여러 개의 명령을 생성하도록 프롬프트하는 제약 조건으로 나열합니다. 따라서 생성된 명령은 주어진 사용 사례에 대한 것이며, 응답하려면 주어진 스킬이 필요합니다. 또한 LLM이 반복적인 명령을 생성하는 것을 방지하기 위해 프롬프트에서 명령의 다양성을 장려하고, LLM이 복사할 수 있는 데모를 제공하지 않습니다. 기본 명령을 생성하기 위한 예제 프롬프트 템플릿은 그림 8, 부록 A.9에 나와 있습니다. 디코딩 과정을 계속하면 셀프 루브릭(4.2절)과 대조 필터링(4.3절)을 통해 보다 효과적인 정렬을 위해 기본 명령을 조정합니다.