We find that, simply via a sampling-and-voting method, the performance of large language models (LLMs) scales with the number of agents instantiated. Also, this method is orthogonal to existing complicated methods to further enhance LLMs, while the degree of enhancement is correlated to the task difficulty. We conduct comprehensive experiments on a wide range of LLM benchmarks to verify the presence of our finding, and to study the properties that can facilitate its occurrence. Our code is publicly available at: Git.
샘플링 및 투표 방법을 통해 Large Language Models (LLMs)의 성능이 인스턴스화된 에이전트 수에 따라 확장된다는 것을 발견했습니다. 또한 이 방법은 LLMs을 더욱 향상시키기 위한 기존의 복잡한 방법과 직교하는 동시에 향상 정도는 작업 난이도와 상관관계가 있습니다. 다양한 LLMs 벤치마크에서 포괄적인 실험을 수행하여 이러한 현상의 존재를 검증하고, 이러한 현상을 촉진할 수 있는 속성을 연구했습니다. 저희 코드는 공개적으로 사용할 수 있습니다: Git.
샘플링 및 투표 방법을 통해 대규모 언어 모델(LLM)의 성능이 인스턴스화된 에이전트 수에 따라 확장된다는 것을 발견했습니다. 또한 이 방법은 LLM을 더욱 향상시키기 위한 기존의 복잡한 방법과 직교하는 동시에 향상 정도는 작업 난이도와 상관관계가 있습니다. 다양한 LLM 벤치마크에서 포괄적인 실험을 수행하여 이러한 현상의 존재를 검증하고, 이러한 현상을 촉진할 수 있는 속성을 연구했습니다. 저희 코드는 공개적으로 사용할 수 있습니다: Git.