Table 2 and Figure 3 show that our method generally enhances performance across all tasks and LLMs by increasing the ensemble size. Specifically, in arithmetic reasoning tasks, the accuracy gains range from \(12\%\) to \(24\%\) on the GSM8K and from \(6\%\) to \(10\%\) on the MATH. In general reasoning tasks, the accuracy gains range from \(1\%\) to \(4\%\) on the Chess and from \(5\%\) to \(11\%\) on the MMLU. In code generation task, the accuracy gains range from \(4\%\) to \(9\%\) on HumanEval. Surprisingly, our method enables a smaller LLM to outperform a larger counterpart by simply scaling up the ensemble size. For instance, the enhanced Llama2-13B model achieves \(59\%\) accuracy on the GSM8K dataset, outperforming the Llama2-70B model, which scores \(54\%\).
표 2와 그림 3을 보면, 앙상블 크기를 늘림으로써 모든 작업과 LLM에서 일반적으로 성능이 향상된다는 것을 알 수 있습니다. 특히 arithmetic reasoning 작업의 경우 GSM8K에서 \(12\%\) ~ \(24\%\), MATH에서 \(6\%\) ~ \(10\%\)의 정확도 향상 효과를 보였습니다. 일반 reasoning 작업의 경우 체스에서 \(1\%\) ~ \(4\%\), MMLU에서 \(5\%\) ~ \(11\%\)의 정확도 향상 효과를 보였습니다. 코드 생성 작업의 경우 HumanEval에서 \(4\%\) ~ \(9\%\)의 정확도 향상 효과를 보였습니다. 놀랍게도 우리의 방법을 사용하면 더 작은 LLM이 앙상블 크기를 확장하는 것만으로 더 큰 LLM보다 더 나은 성능을 발휘할 수 있습니다. 예를 들어, 향상된 Llama2-13B 모델은 GSM8K 데이터 세트에서 \(59\%\)의 정확도를 달성하여 \(54\%\)의 점수를 받은 Llama2-70B 모델을 능가합니다.
표 2와 그림 3을 보면, 앙상블 크기를 늘림으로써 모든 작업과 LLM에서 일반적으로 성능이 향상된다는 것을 알 수 있습니다. 특히 산술 추론 작업의 경우 GSM8K에서 \(12\%\) ~ \(24\%\), MATH에서 \(6\%\) ~ \(10\%\)의 정확도 향상 효과를 보였습니다. 일반 추론 작업의 경우 체스에서 \(1\%\) ~ \(4\%\), MMLU에서 \(5\%\) ~ \(11\%\)의 정확도 향상 효과를 보였습니다. 코드 생성 작업의 경우 HumanEval에서 \(4\%\) ~ \(9\%\)의 정확도 향상 효과를 보였습니다. 놀랍게도 우리의 방법을 사용하면 더 작은 LLM이 앙상블 크기를 확장하는 것만으로 더 큰 LLM보다 더 나은 성능을 발휘할 수 있습니다. 예를 들어, 향상된 Llama2-13B 모델은 GSM8K 데이터 세트에서 \(59\%\)의 정확도를 달성하여 \(54\%\)의 점수를 받은 Llama2-70B 모델을 능가합니다.