We therefore introduce Contrastive Filtering, a method to select the instructions that can effectively enhance the target LLM \(f_{t}\). For clarity, we define the space of all natural language sequences as \(\mathcal{N}\). We have the strong LLM \(f_{s}:\mathcal{N}\rightarrow\mathcal{N}\), the target LLM \(f_{t}:\mathcal{N}\rightarrow\mathcal{N}\), and a scoring function \(S:\mathcal{N}\rightarrow\mathbb{R}\) to evaluate response quality. In practice, \(S\) is obtained by reusing the strong LLM \(f_{s}\) with a prompt template (Figure 11, Appendix A.9) adapted from the Vicuna pairwise evaluation template (Taori et al., 2023; Chiang et al., 2023). To mitigate potential position bias, we average the scores obtained by exchanging the positions of two responses (Chiang et al., 2023). We observe using \(f_{s}\) for scoring works quite well in practice, so we prioritize this option for simplicity. Given an input instruction \(I\in\mathcal{N}\), we obtain responses from both LLMs as \(f_{s}(I)\) and \(f_{t}(I)\), respectively. We then define the _quality gap_\(G:\mathcal{N}\rightarrow\mathbb{R}\) between these responses to estimate the _effectiveness_ of the instruction: \(G(I)=S(f_{s}(I))-S(f_{t}(I))\).
따라서 대상 LLM(f_{t})을 효과적으로 향상시킬 수 있는 instructions를 선택하는 방법인 Contrastive Filtering을 소개합니다. 명확성을 위해 모든 자연어 시퀀스의 공간을 \(\mathcal{N}\)으로 정의합니다. 강력한 LLM \(f_{s}:\mathcal{N}\rightarrow\mathcal{N}\), 대상 LLM \(f_{t}:\mathcal{N}\rightarrow\mathcal{N}\), 응답 품질을 평가하기 위한 scoring function \(S:\mathcal{N}\rightarrow\mathbb{R}\)가 있습니다. 실제로 \(S\)는 Vicuna 쌍별 평가 템플릿(Taori et al., 2023; Chiang et al., 2023)에서 수정한 prompt 템플릿(그림 11, 부록 A.9)을 사용하여 강력한 LLM \(f_{s}\)를 재사용하여 얻습니다. 잠재적인 위치 편향을 완화하기 위해 두 응답의 위치를 교환하여 얻은 점수를 평균화합니다(Chiang et al., 2023). 점수 부여에 \(f_{s}\)를 사용하는 것이 실제로 매우 효과적이라는 것을 관찰했기 때문에 단순화를 위해 이 옵션을 우선적으로 사용합니다. 입력 instruction \(I\in\mathcal{N}\)가 주어지면 두 LLM 모두에서 각각 \(f_{s}(I)\)와 \(f_{t}(I)\)로 응답을 얻습니다. 그런 다음 이러한 응답 간의 _quality gap_ \(G:\mathcal{N}\rightarrow\mathbb{R}\)을 정의하여 instruction의 _effectiveness_를 추정합니다: \(G(I)=S(f_{s}(I))-S(f_{t}(I))\).
따라서 대상 LLM(f_{t})을 효과적으로 향상시킬 수 있는 명령을 선택하는 방법인 대조 필터링을 소개합니다. 명확성을 위해 모든 자연어 시퀀스의 공간을 \(\mathcal{N}\)으로 정의합니다. 강력한 LLM \(f_{s}:\mathcal{N}\rightarrow\mathcal{N}\), 대상 LLM \(f_{t}:\mathcal{N}\rightarrow\mathcal{N}\), 응답 품질을 평가하기 위한 점수 함수 \(S:\mathcal{N}\rightarrow\mathbb{R}\)가 있습니다. 실제로 \(S\)는 Vicuna 쌍별 평가 템플릿(Taori et al., 2023; Chiang et al., 2023)에서 수정한 프롬프트 템플릿(그림 11, 부록 A.9)을 사용하여 강력한 LLM \(f_{s}\)를 재사용하여 얻습니다. 잠재적인 위치 편향을 완화하기 위해 두 응답의 위치를 교환하여 얻은 점수를 평균화합니다(Chiang et al., 2023). 점수 부여에 \(f_{s}\)를 사용하는 것이 실제로 매우 효과적이라는 것을 관찰했기 때문에 단순화를 위해 이 옵션을 우선적으로 사용합니다. 입력 명령 \(I\in\mathcal{N}\)가 주어지면 두 LLM 모두에서 각각 \(f_{s}(I)\)와 \(f_{t}(I)\)로 응답을 얻습니다. 그런 다음 이러한 응답 간의 _품질 갭_\(G:\mathcal{N}\rightarrow\mathbb{R}\)을 정의하여 명령의 _효과성_을 추정합니다: \(G(I)=S(f_{s}(I))-S(f_{t}(I))\).