**Gain from Model Scale.**: We observe that Yi-34B has substantial performance improvement compared to Yi-6B, though they utilized the same pretrain corpora. Larger model size leads to higher performance gain on Code and Math benchmarks, referring to Tab. 3, compared to benchmarks focusing on Commonsense Reasoning, Reading Comprehension, or Knowledge. **Data Quality.**: Smaller models of higher quality pretrain data, like Yi-34B or Qwen-14B, usually demonstrate better performance than models of larger size but (presumably) lower quality data, such as Falcon-180B (though the focus of Falcon-180B might be more on the scaling side, which is definitely of important value on its own). **Gap between GPT-4 and Open-source LLMs.**: Based on Tab. 2, we note that open-source LLMs still lag behind the performance of GPT-4 and GPT-3.5 on various benchmarks. Yet representative bilingual LLMs, e.g. Qwen-14B and Yi-34B, can match or even surpass the performance of GPT-4 on Chinese knowledge related benchmarks, including C-Eval [31], CMMLU [42], and Gaokao [90]. However, there is still a huge gap between GPT-4 and open-source models on reasoning-related benchmarks like BBH [72], code (HumanEval), and math (MATH).
**모델 규모로부터의 이득**: Yi-34B는 동일한 pretrain corpora를 활용했지만 Yi-6B에 비해 상당한 성능 향상을 보였습니다. 모델 규모가 클수록 Commonsense Reasoning, Reading Comprehension 또는 Knowledge에 초점을 맞춘 벤치마크에 비해 Code 및 Math 벤치마크에서 더 높은 성능 향상을 가져오는 것으로 나타났습니다(표 3 참조). **데이터 품질**: Yi-34B 또는 Qwen-14B와 같이 더 높은 품질의 pretrain 데이터를 사용하는 소형 모델은 일반적으로 Falcon-180B와 같이 더 큰 크기이지만 (아마도) 품질이 낮은 데이터를 사용하는 모델보다 더 나은 성능을 보여줍니다(Falcon-180B의 초점은 scaling 측면에 더 있을 수 있지만, 이는 그 자체로 중요한 가치가 있습니다). **GPT-4와 오픈 소스 LLM 간의 격차**: 표 2를 기준으로 오픈 소스 LLM은 다양한 벤치마크에서 GPT-4 및 GPT-3.5의 성능에 여전히 뒤처지는 것을 알 수 있습니다. 그러나 대표적인 이중 언어 LLM인 Qwen-14B와 Yi-34B는 C-Eval [31], CMMLU [42], Gaokao [90] 등 중국어 지식 관련 벤치마크에서 GPT-4의 성능에 필적하거나 능가할 수 있습니다. 그러나 reasoning 관련 벤치마크(예: BBH [72], code (HumanEval), math (MATH))에서는 GPT-4와 오픈 소스 모델 간에 여전히 큰 격차가 존재합니다.
**모델 규모로부터의 이득**: Yi-34B는 동일한 사전 학습 코퍼라를 활용했지만 Yi-6B에 비해 상당한 성능 향상을 보였습니다. 모델 규모가 클수록 공통 감각 추론, 독해 또는 지식에 초점을 맞춘 벤치마크에 비해 코드 및 수학 벤치마크에서 더 높은 성능 향상을 가져오는 것으로 나타났습니다(표 3 참조). **데이터 품질**: Yi-34B 또는 Qwen-14B와 같이 더 높은 품질의 사전 학습 데이터를 사용하는 소형 모델은 일반적으로 Falcon-180B와 같이 더 큰 크기이지만 (아마도) 품질이 낮은 데이터를 사용하는 모델보다 더 나은 성능을 보여줍니다(Falcon-180B의 초점은 스케일링 측면에 더 있을 수 있지만, 이는 그 자체로 중요한 가치가 있습니다). **GPT-4와 오픈 소스 LLM 간의 격차**: 표 2를 기준으로 오픈 소스 LLM은 다양한 벤치마크에서 GPT-4 및 GPT-3.5의 성능에 여전히 뒤처지는 것을 알 수 있습니다. 그러나 대표적인 이중 언어 LLM인 Qwen-14B와 Yi-34B는 C-Eval [31], CMMLU [42], Gaokao [90] 등 중국어 지식 관련 벤치마크에서 GPT-4의 성능에 필적하거나 능가할 수 있습니다. 그러나 추론 관련 벤치마크(예: BBH [72], 코드(HumanEval), 수학(MATH))에서는 GPT-4와 오픈 소스 모델 간에 여전히 큰 격차가 존재합니다.