The size and complexity of a model are key factors affecting its learning capabilities and performance in reasoning tasks, yet the application of specific techniques may allow smaller-scale models to match or even surpass the capabilities of larger models. As shown in Figure 4 and Figure 5, by examining the performance on MATH, GSM8K, PIQA, HellaSwag, and WinoGrande across models of different sizes, it is observable that all models improve their abilities in tasks involving math, physical interaction understanding and commonsense reasoning in a relatively synchronized manner. Generally, the performance of 67b models surpasses that of 34b, which in turn exceeds that of 7b models at the same training phase in math-related datasets. However, exceptions like the OpenLLaMA-7b model approaching or even exceeding the capabilities of Yi-34b demonstrate that the model scale should be chosen based on the complexity of the task and the required reasoning capabilities.
모델의 크기와 복잡성은 학습 능력과 추론 작업에서의 성능에 영향을 미치는 주요 요소입니다. 그러나 특정 기술의 적용을 통해 소규모 모델이 대규모 모델의 능력을 맞추거나 심지어 능가할 수 있습니다. Figure 4와 Figure 5에서 볼 수 있듯이, MATH, GSM8K, PIQA, HellaSwag, WinoGrande에서 다양한 크기의 모델 성능을 검토한 결과, 모든 모델이 수학, 물리적 상호작용 이해 및 상식 추론과 관련된 작업에서 비교적 동기화된 방식으로 능력을 향상시키는 것을 관찰할 수 있습니다. 일반적으로, 67b 모델의 성능은 34b 모델을 능가하며, 이는 다시 같은 학습 단계에서 7b 모델을 능가합니다. 그러나 OpenLLaMA-7b 모델이 Yi-34b의 능력에 접근하거나 심지어 능가하는 예외적인 경우는 모델의 규모를 작업의 복잡성과 필요한 추론 능력에 따라 선택해야 함을 보여줍니다.
모델의 크기와 복잡성은 학습 기능과 추론 작업 성능에 영향을 미치는 핵심 요소이지만, 특정 기술을 적용하면 더 작은 규모의 모델이 더 큰 모델의 기능에 필적하거나  nawet 초과할 수 있습니다. 그림 4와 그림 5에서 볼 수 있듯이, 다양한 크기의 모델에 걸쳐 MATH, GSM8K, PIQA, HellaSwag 및 WinoGrande에서의 성능을 조사한 결과, 모든 모델이 수학, 물리적 상호 작용 이해 및 상식 추론과 관련된 작업에서 비교적 동기화된 방식으로 능력이 향상되는 것을 관찰할 수 있습니다. 일반적으로 67b 모델의 성능은 34b를 능가하며, 수학 관련 데이터 세트에서 동일한 훈련 단계에서 7b 모델의 성능을 초과합니다. 그러나 OpenLLaMA-7b 모델이 Yi-34b의 기능에 근접하거나 초과하는 등의 예외는 작업의 복잡성과 필요한 추론 기능에 따라 모델 규모를 선택해야 함을 보여줍니다.