Contrastive Filtering complements Self-Rubrics to select effective instruction-response pairs by calibrating the target LLM's instruction-following capability with the strong LLM's. Analogous to Contrastive Decoding (Li et al., 2022) at response-level, Contrastive Filtering can also be regarded as LLM-feedback (Madaan et al., 2023) with the interaction of two LLMs. While we adopt the strong LLM as scoring function to measure the quality gap, our framework can be compatible with and potentially benefit from the advances in more reliable and comprehensive scoring and feedback systems (Lee et al., 2023), and we leave it as promising future work.
대조 필터링은 강력한 LLM의 강력한 LLM과 대상 LLM의 instruction-following 기능을 보정하여 효과적인 instruction-response 쌍을 선택하기 위해 Self-Rubrics를 보완합니다. 응답 수준의 Contrastive Decoding (Li et al., 2022)과 유사하게, 대조 필터링도 두 개의 LLM의 상호 작용을 통해 LLM-feedback (Madaan et al., 2023)으로 간주할 수 있습니다. 품질 격차를 측정하기 위해 강력한 LLM을 채점 함수로 채택하고 있지만, 이 프레임워크는 보다 신뢰할 수 있고 포괄적인 채점 및 피드백 시스템(Lee et al., 2023)의 발전과 호환될 수 있으며 잠재적으로 이점을 얻을 수 있으므로 이를 향후 연구로 남겨두었습니다.
대조 필터링은 강력한 LLM의 강력한 LLM과 대상 LLM의 지시어-추종 기능을 보정하여 효과적인 지시어-응답 쌍을 선택하기 위해 자체 루브릭을 보완합니다. 응답 수준의 대조 디코딩(Li et al., 2022)과 유사하게, 대조 필터링도 두 개의 LLM의 상호 작용을 통해 LLM 피드백(Madaan et al., 2023)으로 간주할 수 있습니다. 품질 격차를 측정하기 위해 강력한 LLM을 채점 함수로 채택하고 있지만, 이 프레임워크는 보다 신뢰할 수 있고 포괄적인 채점 및 피드백 시스템(Lee et al., 2023)의 발전과 호환될 수 있으며 잠재적으로 이점을 얻을 수 있으므로 이를 향후 연구로 남겨두었습니다.