**Scaling with Model Size and Data Quantity.** To explore how our method scales with different synthetic data quantities and model sizes, we conduct experiments by comparing CodecLM with WizardLM+, the most competitive baseline. The experiment results on Evol-Instruct with LLaMA-7B and -13B as the target LLM are presented in Figure 5. Both methods get increasingly better performance with more synthetic data and larger target models. CodecLM consistently outperforms WizardLM+ under all cases, demonstrating its great data efficiency and scalability. We expect the gain will gradually diminish after we generate more than 8k synthetic data, due to the intrinsic ability gap between the target models and the strong LLM.
**모델 크기와 데이터 양에 따른 확장성.** 우리의 방법이 다양한 합성 데이터 양과 모델 크기에 따라 어떻게 확장되는지 탐구하기 위해, 가장 경쟁력 있는 기준선인 WizardLM+와 CodecLM을 비교하는 실험을 수행했습니다. LLaMA-7B와 -13B를 대상 LLM으로 하는 Evol-Instruct에 대한 실험 결과는 Figure 5에 제시되어 있습니다. 두 방법 모두 더 많은 합성 데이터와 더 큰 대상 모델을 사용할수록 성능이 점점 향상됩니다. CodecLM은 모든 경우에서 WizardLM+를 일관되게 능가하며, 뛰어난 데이터 효율성과 확장성을 입증합니다. 대상 모델과 강력한 LLM 간의 본질적인 능력 차이로 인해 8k 이상의 합성 데이터를 생성한 후에는 성능 향상이 점차 줄어들 것으로 예상됩니다.
**모델 크기 및 데이터 양에 따른 확장성.** 다양한 합성 데이터 양과 모델 크기에 따라 저희 방법이 어떻게 확장되는지 살펴보기 위해 가장 경쟁력 있는 기준선인 WizardLM+와 CodecLM을 비교하여 실험을 수행했습니다. LLaMA-7B 및 -13B를 대상 LLM으로 사용하여 Evol-Instruct에 대한 실험 결과는 그림 5에 나와 있습니다. 두 방법 모두 합성 데이터가 많고 대상 모델이 클수록 점점 더 나은 성능을 보입니다. 모든 경우에서 CodecLM이 WizardLM+보다 일관되게 우수한 성능을 보여주어 뛰어난 데이터 효율성과 확장성을 입증했습니다. 대상 모델과 강력한 LLM 간의 내재적 능력 차이로 인해 8,000개 이상의 합성 데이터를 생성하면 점차 이득이 감소할 것으로 예상됩니다.