We also introduce _Contrastive Filtering_ during decoding to further identify the most effective instruction-response pairs by leveraging the quality discrepancy between the target and a stronger LLM. This strategy identifies two key instruction sets: (a) those the target LLM struggles with, pushing it to improve in its weak areas for more significant gains, and (b) those the target LLM excels at, feeding them back into the Self-Rubrics process for improved data efficiency. Contrastive Filtering serves as a response-level analogy of contrastive decoding Li et al. (2022).
또한 디코딩 중에 _Contrastive Filtering_을 도입하여 대상과 더 강력한 LLM 간의 품질 차이를 활용하여 가장 효과적인 instruction-response 쌍을 추가로 식별합니다. 이 전략은 두 가지 주요 instruction 세트를 식별합니다: (a) 대상 LLM이 어려워하는 instruction은 취약한 영역을 개선하여 더 큰 이득을 얻고, (b) 대상 LLM이 뛰어난 instruction은 데이터 효율성을 개선하기 위해 Self-Rubrics 프로세스에 다시 피드백합니다. Contrastive Filtering은 contrastive decoding Li 등(2022)의 응답 수준에 대한 비유 역할을 합니다.
또한 디코딩 중에 _대조 필터링_을 도입하여 대상과 더 강력한 LLM 간의 품질 차이를 활용하여 가장 효과적인 명령어-응답어 쌍을 추가로 식별합니다. 이 전략은 두 가지 주요 명령어 세트를 식별합니다: (a) 대상 LLM이 어려워하는 명령어는 취약한 영역을 개선하여 더 큰 이득을 얻고, (b) 대상 LLM이 뛰어난 명령어는 데이터 효율성을 개선하기 위해 Self-Rubrics 프로세스에 다시 피드백합니다. 대조 필터링은 대조 디코딩 Li 등(2022)의 응답 수준에 대한 비유 역할을 합니다.