**Results with LLaMA-based Target LLMs.** Table 1 summarizes the performance of CodecLM and the comparing baselines with 2000 synthetic data for instruction tuning. All methods are trained on LLaMA-7B or -13B as the target LLM and compared against Gemini-Pro, the strong LLM that generates the data. CodecLM outperforms comparing methods consistently on all benchmarks, with two target LLMs of different sizes. The consistently superior performance of CodecLM highlights its generalizability to different downstream instruction distributions and target LLMs. Both Tree-Instruct and variants of WizardLM focus on the importance of instruction complexity, however, their performances are not always better than Alpagasus with simple instructions, especially with larger target LLM. This observation indicates that the effectiveness of data cannot be solely determined by instruction complexity, and validates the motivation of our design of Self-Rubrics and Contrastive Filtering. Moreover, the win of WizardLM+ over WizardLM confirms the efficacy of instruction distribution matching via instruction metadata. When shifting the target LLM from LLaMA-7B to -13B, all methods get a significant performance boost, which accords with prior discoveries on scaling model size Wei et al. (2021).
**LLaMA 기반 타겟 LLM의 결과.** 표 1은 Instruction Tuning을 위해 2000개의 합성 데이터로 CodecLM과 비교 Baseline의 성능을 요약한 것입니다. 모든 방법은 타겟 LLM으로 LLaMA-7B 또는 -13B에서 학습되며, 데이터를 생성하는 강력한 LLM인 Gemini-Pro와 비교됩니다. CodecLM은 서로 다른 크기의 두 가지 타겟 LLM을 통해 모든 벤치마크에서 비교 방법보다 뛰어난 성능을 보여줍니다. CodecLM의 일관된 우수한 성능은 다양한 다운스트림 Instruction 분포와 타겟 LLM에 대한 일반화 가능성을 강조합니다. Tree-Instruct와 WizardLM의 변형은 Instruction 복잡성의 중요성에 초점을 맞추고 있지만, 특히 대규모 타겟 LLM의 경우 단순한 Instruction을 가진 Alpagasus보다 성능이 항상 우수하지는 않습니다. 이러한 관찰 결과는 데이터의 효과가 Instruction 복잡성만으로 결정될 수 없음을 나타내며, Self-Rubrics와 Contrastive Filtering 설계의 동기를 검증합니다. 또한 WizardLM+가 WizardLM보다 우위를 점한 것은 Instruction 메타데이터를 통한 Instruction 분포 매칭의 효능을 확인시켜 줍니다. 타겟 LLM을 LLaMA-7B에서 -13B로 변경하면 모든 방법에서 상당한 성능 향상을 얻을 수 있으며, 이는 모델 크기 Wei 등(2021)의 확장에 대한 선행 연구와 일치합니다.
**LLaMA 기반 타겟 LLM의 결과.** 표 1은 명령어 튜닝을 위해 2000개의 합성 데이터로 코덱LM과 비교 베이스라인의 성능을 요약한 것입니다. 모든 방법은 타겟 LLM으로 LLaMA-7B 또는 -13B에서 학습되며, 데이터를 생성하는 강력한 LLM인 Gemini-Pro와 비교됩니다. 코덱LM은 서로 다른 크기의 두 가지 타겟 LLM을 통해 모든 벤치마크에서 비교 방법보다 뛰어난 성능을 보여줍니다. 코덱LM의 일관된 우수한 성능은 다양한 다운스트림 명령어 분포와 타겟 LLM에 대한 일반화 가능성을 강조합니다. 트리 인스트럭트와 위자드LM의 변형은 명령어 복잡성의 중요성에 초점을 맞추고 있지만, 특히 대규모 타겟 LLM의 경우 단순한 명령어를 가진 알파가수보다 성능이 항상 우수하지는 않습니다. 이러한 관찰 결과는 데이터의 효과가 명령어 복잡성만으로 결정될 수 없음을 나타내며, 셀프 루브릭과 대조 필터링 설계의 동기를 검증합니다. 또한 WizardLM+가 WizardLM보다 우위를 점한 것은 명령어 메타데이터를 통한 명령어 분포 매칭의 효능을 확인시켜 줍니다. 타겟 LLM을 LLaMA-7B에서 -13B로 변경하면 모든 방법에서 상당한 성능 향상을 얻을 수 있으며, 이는 모델 크기 Wei 등(2021)의 확장에 대한 선행 연구와 일치합니다.