The experiments are conducted by using various LLMs of different sizes on diverse datasets covering reasoning and generation. The result indicates that LLM performance can generally be improved by increasing the ensemble size, i.e., the number of agents, across a wide range of tasks. Surprisingly, a brute-force ensemble of smaller LLMs can achieve comparable or superior performance to larger LLMs, with a nutshell shown in Figure 1, which will be further expanded in later sections. Moreover, by combining our method with other existing methods, we find the performance can be further improved. By comparing with the performance of complicated methods, the result shows that employing our method solely can achieve comparable performance in most cases. This implies that comparable performance can be achieved without the need for additional handcraft prompt design or complex collaboration frameworks.
실험은 다양한 크기의 여러 LLM을 사용하여 추론 및 생성과 관련된 다양한 데이터셋에서 수행되었습니다. 결과는 다양한 작업에서 앙상블 크기, 즉 에이전트 수를 증가시킴으로써 LLM 성능이 일반적으로 향상될 수 있음을 나타냅니다. 놀랍게도, 작은 LLM의 단순한 앙상블이 더 큰 LLM과 비교할 만한 또는 더 우수한 성능을 달성할 수 있으며, 이는 Figure 1에 요약되어 있으며 이후 섹션에서 더 확장될 것입니다. 또한, 우리의 방법을 다른 기존 방법과 결합함으로써 성능이 더욱 향상될 수 있음을 발견했습니다. 복잡한 방법의 성능과 비교해 보면, 우리의 방법만을 사용해도 대부분의 경우에 비교할 만한 성능을 달성할 수 있음을 보여줍니다. 이는 추가적인 수작업 프롬프트 설계나 복잡한 협업 프레임워크 없이도 비교할 만한 성능을 달성할 수 있음을 의미합니다.
추론과 생성을 포괄하는 다양한 데이터 세트에서 다양한 크기의 다양한 LLM을 사용하여 실험을 수행합니다. 그 결과, 광범위한 작업에서 일반적으로 앙상블 크기, 즉 에이전트 수를 늘리면 LLM 성능을 개선할 수 있다는 것을 알 수 있습니다. 놀랍게도 더 작은 LLM의 무차별 대입 앙상블은 더 큰 LLM과 비슷하거나 우수한 성능을 달성할 수 있으며, 이는 그림 1에 요약되어 있으며 이후 섹션에서 더 자세히 설명할 것입니다. 또한, 저희 방법을 기존의 다른 방법과 결합하면 성능을 더욱 향상시킬 수 있습니다. 복잡한 방법의 성능과 비교하여, 결과는 우리 방법만을 사용해도 대부분의 경우 비슷한 성능을 달성할 수 있음을 보여줍니다. 이는 추가적인 수공 프롬프트 설계나 복잡한 협업 프레임워크 없이도 비슷한 성능을 달성할 수 있음을 의미합니다.