We focus on the first scenario for clarity, though the second can be derived similarly by leveraging an LLM as the encoder (Section 4.1). Our goal is to generate a set of high-quality instruction-response pairs \(\mathcal{D}_{g}=\{(I_{j}^{{}^{\prime}},R_{j}^{{}^{\prime}})\}_{j=1}^{m}\), using a strong LLM \(f_{s}\), and then use \(\mathcal{D}_{g}\) to fine-tune the target LLM \(f_{t}\). We evaluate the performance of the fine-tuned LLM \(f_{t}\) on test instructions from the target distribution \(P_{I}\), to which we are aligning.
명확성을 위해 첫 번째 시나리오에 초점을 맞추지만, 두 번째 시나리오는 Encoder로 강력한 LLM을 활용하여 유사하게 도출할 수 있습니다(섹션 4.1). 우리의 목표는 강력한 LLM \(f_{s}\)를 사용하여 고품질 Instruction-응답 쌍 \(\mathcal{D}_{g}=\{(I_{j}^{{}^{\prime}},R_{j}^{{}^{\prime}})\}_{j=1}^{m}\) 집합을 생성한 다음, \(\mathcal{D}_{g}\)를 사용하여 대상 LLM \(f_{t}\)를 Fine-tuning하는 것입니다. 우리는 정렬하고 있는 대상 분포 \(P_{I}\)의 테스트 Instruction에 대해 Fine-tuning된 LLM \(f_{t}\)의 성능을 평가합니다.
명확성을 위해 첫 번째 시나리오에 초점을 맞추지만, 두 번째 시나리오는 인코더로 강력한 LLM을 활용하여 유사하게 도출할 수 있습니다(섹션 4.1). 우리의 목표는 강력한 LLM \(f_{s}\)를 사용하여 고품질 명령어-응답 쌍 \(\mathcal{D}_{g}=\{(I_{j}^{{}^{\prime}},R_{j}^{{}^{\prime}})\}_{j=1}^{m}\) 집합을 생성한 다음, \(\mathcal{D}_{g}\)를 사용하여 대상 LLM \(f_{t}\)를 미세 조정하는 것입니다. 우리는 정렬하고 있는 대상 분포 \(P_{I}\)의 테스트 명령어에 대해 미세 조정된 LLM \(f_{t}\)의 성능을 평가합니다.