Table 3 shows that by integrating our method with other methods, the performance can be further improved across different LLMs and tasks, despite these methods have different implementations. To be specific, in arithmetic reasoning tasks, our method enhances these methods to further improvement, yielding increases between \(10\%\) and \(21\%\) on the GSM8K dataset, and between \(1\%\) and \(15\%\) on the MATH dataset. In general reasoning tasks, integration with other methods generally achieves performance gains ranging from \(1\%\) to \(13\%\) in the Chess task and from \(1\%\) to \(11\%\) in the MMLU task. In code generation task, when combined with other methods, gains range from \(2\%\) to \(7\%\). However, two notable exceptions are observed when integrated with the debate method with the Llama2-13B and Llama2-70B models, which result in failed cases. This failure in performance is attributed primarily to the noise generated by referencing the answers of other agents during the debate process. The synthesized responses, which incorporate input from multiple agents, disrupt the coherence of the code logic, leading to the observed performance degradation. All accuracy curves are provided in the Appendix B.
표 3은 다른 방법과 우리 방법을 통합하면 구현 방식이 다르지만 여러 LLM과 작업에서 성능을 더욱 향상시킬 수 있음을 보여줍니다. 구체적으로 arithmetic reasoning 작업의 경우, 우리 방법은 이러한 방법을 향상시켜 GSM8K 데이터 세트에서 10%에서 21%, MATH 데이터 세트에서 1%에서 15% 사이의 성능 향상을 가져왔습니다. 일반 reasoning 작업의 경우 다른 방법과의 통합은 일반적으로 체스 작업에서 1%에서 13%, MMLU 작업에서 1%에서 11% 사이의 성능 향상을 달성했습니다. code generation 작업의 경우 다른 방법과 결합하면 2%에서 7%까지 성능이 향상됩니다. 그러나 두 가지 주목할 만한 예외는 debate 방법과 결합했을 때 Llama2-13B 및 Llama2-70B 모델에서 실패한 경우가 있다는 점입니다. 이러한 성능 저하는 주로 토론 과정에서 다른 에이전트의 답변을 참조할 때 발생하는 노이즈 때문입니다. 여러 에이전트의 입력을 통합한 합성된 응답은 코드 로직의 일관성을 방해하여 성능 저하로 이어집니다. 모든 정확도 곡선은 부록 B에 제공됩니다.
표 3은 다른 방법과 우리 방법을 통합하면 구현 방식이 다르지만 여러 LLM과 작업에서 성능을 더욱 향상시킬 수 있음을 보여줍니다. 구체적으로 산술 추론 작업의 경우, 우리 방법은 이러한 방법을 향상시켜 GSM8K 데이터 세트에서 10%에서 21%, MATH 데이터 세트에서 1%에서 15% 사이의 성능 향상을 가져왔습니다. 일반 추론 작업의 경우 다른 방법과의 통합은 일반적으로 체스 작업에서 1%에서 13%, MMLU 작업에서 1%에서 11% 사이의 성능 향상을 달성했습니다. 코드 생성 작업의 경우 다른 방법과 결합하면 2%에서 7%까지 성능이 향상됩니다. 그러나 두 가지 주목할 만한 예외는 토론 방법과 결합했을 때 Llama2-13B 및 Llama2-70B 모델에서 실패한 경우가 있다는 점입니다. 이러한 성능 저하는 주로 토론 과정에서 다른 에이전트의 답변을 참조할 때 발생하는 노이즈 때문입니다. 여러 에이전트의 입력을 통합한 합성된 응답은 코드 로직의 일관성을 방해하여 성능 저하로 이어집니다. 모든 정확도 곡선은 부록 B에 제공됩니다.