**LLM as Encoder with Instruction Metadata.** We begin by encoding the given seed instructions \(\mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\) into instruction _metadata_\(\mathcal{M}\), _i.e._, keywords that capture the underlying target instruction distribution. Inspired by the task pool by Wang et al. (2022) and the post-hoc analysis on skill distribution by Xu et al. (2023), we define the metadata as encompassing two key aspects: _use case_ and _skills_. Use case describes the intended task (_e.g._, question answering or creative writing), while Skills are the knowledge the LLM required to have to successfully respond to the given instruction (_e.g._, algorithms or communication). Skills are often generalizable to different use cases. Therefore, each instruction has a single use case and may involve multiple skills. To extract this metadata, we leverage the strong LLM \(f_{s}\) following the prompt template in Figure 7, Appendix A.9. While richer definitions are possible based on finer-grained instruction-following metrics Zhou et al. (2023), we prioritize use case and skills for their broad applicability across diverse instruction distributions. Future work can explore extending this metadata further.
**LLM as Encoder with Instruction Metadata.** 주어진 시드 명령어 \(\mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\)을 instruction _metadata_\(\mathcal{M}\), 즉, 기본 타겟 명령어 분포를 캡처하는 키워드로 인코딩하는 것으로 시작합니다. Wang 등(2022)의 작업 풀과 Xu 등(2023)의 사후 분석에 따르면, metadata는 _use case_와 _skills_라는 두 가지 핵심 측면을 포괄하는 것으로 정의합니다. Use case는 의도한 작업(_예: question answering 또는 창의적 글쓰기)을 설명하며, Skills는 주어진 instruction에 성공적으로 응답하기 위해 LLM이 갖춰야 하는 지식(_예: algorithms 또는 communication)입니다. Skills는 종종 다양한 use case에 일반화할 수 있습니다. 따라서 각 instruction에는 하나의 use case가 있으며 여러 skills이 포함될 수 있습니다. 이 metadata를 추출하기 위해 그림 7의 prompt 템플릿에 따라 강력한 LLM \(f_{s}\)을 활용합니다(부록 A.9). 보다 세분화된 instruction 수행 메트릭에 기반하여 더 풍부한 정의가 가능하지만, 다양한 instruction 분포에 걸쳐 광범위하게 적용 가능한 use case와 skills을 우선적으로 고려합니다. 향후 연구에서는 이 metadata를 더욱 확장할 수 있습니다.
**명령 메타데이터가 있는 인코더로서의 LLM**. 주어진 시드 명령어 \mathcal{D}_{s}=\{I_{i}\}_{i=1}^{n}\)을 명령어 _메타데이터_\mathcal{M}, 즉, 기본 타겟 명령어 분포를 캡처하는 키워드로 인코딩하는 것으로 시작합니다. Wang 등(2022)의 작업 풀과 Xu 등(2023)의 사후 분석에 따르면, 메타데이터는 사용 사례_와 _스킬_이라는 두 가지 핵심 측면을 포괄하는 것으로 정의합니다. 사용 사례는 의도한 작업(_예: 질문 답변 또는 창의적 글쓰기)을 설명하며, 스킬은 주어진 명령에 성공적으로 응답하기 위해 LLM이 갖춰야 하는 지식(_예: 알고리즘 또는 커뮤니케이션)입니다. 스킬은 종종 다양한 사용 사례에 일반화할 수 있습니다. 따라서 각 명령에는 하나의 사용 사례가 있으며 여러 스킬이 포함될 수 있습니다. 이 메타데이터를 추출하기 위해 그림 7의 프롬프트 템플릿에 따라 강력한 LLM \(f_{s}\)을 활용합니다(부록 A.9). 보다 세분화된 명령어 수행 메트릭에 기반하여 더 풍부한 정의가 가능하지만, 다양한 명령어 분포에 걸쳐 광범위하게 적용 가능한 사용 사례와 스킬을 우선적으로 고려합니다. 향후 연구에서는 이 메타데이터를 더욱 확장할 수 있습니다.