til the current iteration in the yellow line chart with right y-axis. From the data proportion bar chart, we observe that more than \(70\%\) of the data comes from the first iteration. This indicates Contrastive Filtering successfully collects less complex yet challenging instructions, which are critical for building up the instruction-following ability of the target LLM. Starting from the second iteration, the data proportion gets increasingly small. However, similar to the _less is more for alignment_ observation [23], high-quality and more complex instructions indeed contribute to the final performance despite less in quantity.
오른쪽 Y축의 노란색 선형 차트에서 현재 반복까지. 데이터 비율 막대형 차트에서 데이터의 70% 이상이 첫 번째 반복에서 나온다는 것을 알 수 있습니다. 이는 Contrastive Filtering이 대상 LLM의 instruction-following 능력을 구축하는 데 중요한 덜 복잡하지만 도전적인 instructions를 성공적으로 수집했음을 나타냅니다. 두 번째 반복부터 데이터 비율은 점점 더 작아집니다. 그러나 [23]의 _less is more for alignment_ 관찰과 유사하게, 고품질의 복잡한 instructions는 양은 적더라도 최종 성능에 기여합니다.
오른쪽 Y축의 노란색 선형 차트에서 현재 반복까지. 데이터 비율 막대형 차트에서 데이터의 70\%\) 이상이 첫 번째 반복에서 나온다는 것을 알 수 있습니다. 이는 대조 필터링이 대상 LLM의 명령어 수행 능력을 구축하는 데 중요한 덜 복잡하지만 도전적인 명령어를 성공적으로 수집했음을 나타냅니다. 두 번째 반복부터 데이터 비율은 점점 더 작아집니다. 그러나 [23]의 _정렬을 위한 더 적은 것이 더 많은 것_ 관찰과 유사하게, 고품질의 복잡한 명령어는 양은 적더라도 최종 성능에 기여합니다.