**Effectiveness of Core Designs.** We show component-wise contributions in our framework in Table 3. The 1st row has the result from Self-Instruct as a baseline; In the 2nd row, we only align the LLM with basic instructions from instruction metadata; We gradually add Self-Rubrics and Contrastive Filtering in the 3rd and 4th rows, respectively. We clearly observe that every component contributes to the final performance. Interesting, the performance of using basic instructions from metadata is even on par with that of WizardLM+ in Table 1. This observation indicates that human-crafted strategies for complicating instructions may not fit different types of instructions. On the contrary, Self-Rubrics adaptively generates instruction improving actions based on different metadata, resulting in better tailored instructions for the target LLM. Further improvements from Contrastive Filtering demonstrate that selected data are indeed more effective for alignment.
**핵심 설계의 효과.** 표 3에 프레임워크에서 컴포넌트별 기여도를 보여줍니다. 첫 번째 행에는 Self-Instruct의 결과가 baseline으로 표시되어 있으며, 두 번째 행에는 Instruction 메타데이터의 기본 Instruction과만 LLM을 정렬합니다. 세 번째와 네 번째 행에는 각각 Self-Rubrics와 Contrastive Filtering을 점진적으로 추가합니다. 모든 구성 요소가 최종 성능에 기여한다는 것을 분명히 관찰할 수 있습니다. 흥미롭게도 메타데이터의 기본 Instruction을 사용하는 성능이 표 1의 WizardLM+와 동등하더군요. 이 관찰 결과는 Instruction을 복잡하게 만드는 인간이 만든 전략이 다양한 유형의 Instruction에 적합하지 않을 수 있음을 나타냅니다. 반대로 Self-Rubrics는 다양한 메타데이터를 기반으로 Instruction 개선 작업을 적응적으로 생성하여 대상 LLM에 더 잘 맞는 Instruction을 생성합니다. Contrastive Filtering을 통해 성능이 더욱 향상된 것은 선택된 데이터가 실제로 정렬에 더 효과적이라는 것을 보여줍니다.
**핵심 설계의 효과.** 표 3에 프레임워크에서 컴포넌트별 기여도를 보여줍니다. 첫 번째 행에는 셀프 인스트럭트의 결과가 기준선으로 표시되어 있으며, 두 번째 행에는 명령 메타데이터의 기본 명령과만 LLM을 정렬합니다. 세 번째와 네 번째 행에는 각각 셀프 루브릭과 대조 필터링을 점진적으로 추가합니다. 모든 구성 요소가 최종 성능에 기여한다는 것을 분명히 관찰할 수 있습니다. 흥미롭게도 메타데이터의 기본 지침을 사용하는 성능이 표 1의 WizardLM+와 동등하더군요. 이 관찰 결과는 지침을 복잡하게 만드는 인간이 만든 전략이 다양한 유형의 지침에 적합하지 않을 수 있음을 나타냅니다. 반대로 셀프 루브릭은 다양한 메타데이터를 기반으로 지침 개선 작업을 적응적으로 생성하여 대상 LLM에 더 잘 맞는 지침을 생성합니다. 대조 필터링을 통해 성능이 더욱 향상된 것은 선택된 데이터가 실제로 정렬에 더 효과적이라는 것을 보여줍니다.