In these works, multiple LLM agents are used to improve the performance of LLMs. For instance, LLM-Debate (Du et al., 2023) employs multiple LLM agents in a debate form. The reasoning performance is improved by creating a framework that allows more than one agent to "debate" the final answer of arithmetic tasks. They show performance improvements compared to using one single agent. Similarly, CoT-SC (Wang et al., 2023) generates multiple thought chains and picks the most self-consistent one as the final answer. The reasoning performance is improved by involving more thought chains compared to chain-of-thought (CoT) (Wei et al., 2022) which employs a single thought chain. Incidentally, from the data analysis of these works, we can notice the effects of putting multiple agents together, to some extent, can lead to a performance improvement in certain problems. For example, in Table 10 of Section 3.3 of LLM-Debate (Du et al., 2023), the authors have reported a preliminary curve: the accuracy of a math problem increases with the number of debating agents (although the number was simply increased from 1 to 7). Also, in Wang et al. (2023), involving more chains-of-thought pipelines (termed as a "sample-and-marginalize" decoding procedure), can lead to a performance gain. We realize that the LLM performance may likely be improved by a brute-force scaling up the number of agents instantiated. However, since the scaling property of "raw" agents is not the focus of these works, the scenarios/tasks and experiments considered are limited. So far, there lacks a dedicated in-depth study on this phenomenon.
이러한 작업에서는 LLM의 성능을 개선하기 위해 여러 LLM 에이전트를 사용합니다. 예를 들어, LLM-Debate(Du et al., 2023)는 토론 형식으로 여러 LLM 에이전트를 사용합니다. 이 논문은 한 명 이상의 에이전트가 산술 과제의 최종 답을 "토론"할 수 있는 프레임워크를 만들어 추론 성능을 향상시킵니다. 이들은 단일 에이전트를 사용하는 것에 비해 성능 향상을 보여줍니다. 마찬가지로, CoT-SC(Wang et al., 2023)는 여러 개의 생각 사슬을 생성하고 가장 자기 일관성이 있는 것을 최종 답으로 선택합니다. 이 논문은 단일 사고 사슬을 사용하는 Chain-of-Thought (CoT)(Wei et al., 2022)에 비해 더 많은 사고 사슬을 포함함으로써 추론 성능을 향상시킵니다. 이러한 연구의 데이터 분석을 통해 여러 에이전트를 함께 배치하면 어떤 문제에서는 성능이 향상될 수 있다는 것을 알 수 있습니다. 예를 들어, LLM-Debate(Du et al., 2023)의 섹션 3.3의 표 10에서 저자들은 토론 에이전트의 수에 따라 수학 문제의 정확도가 증가한다는 예비적인 곡선을 보고했습니다(수는 단순히 1에서 7로 증가했지만). 또한 Wang et al. (2023)에서는 더 많은 Chain-of-Thought 파이프라인(이를 "샘플 및 한계화" 디코딩 절차라고 함)을 포함하면 성능이 향상될 수 있습니다. 인스턴스화된 에이전트의 수를 무차별 대입하여 LLM 성능을 향상시킬 수 있다는 것을 알 수 있습니다. 그러나 이러한 작업의 초점은 "원시" 에이전트의 확장 속성이 아니기 때문에 고려된 시나리오/작업과 실험이 제한적입니다. 지금까지 이러한 현상에 대한 전담적인 심층 연구는 부족합니다.
이러한 작업에서는 LLM의 성능을 개선하기 위해 여러 LLM 에이전트를 사용합니다. 예를 들어, LLM-Debate(Du et al., 2023)는 토론 형식으로 여러 LLM 에이전트를 사용합니다. 이 논문은 한 명 이상의 에이전트가 산술 과제의 최종 답을 "토론"할 수 있는 프레임워크를 만들어 추론 성능을 향상시킵니다. 이들은 단일 에이전트를 사용하는 것에 비해 성능 향상을 보여줍니다. 마찬가지로, CoT-SC(Wang et al., 2023)는 여러 개의 생각 사슬을 생성하고 가장 자기 일관성이 있는 것을 최종 답으로 선택합니다. 이 논문은 단일 사고 사슬을 사용하는 사고 사슬(CoT)(Wei et al., 2022)에 비해 더 많은 사고 사슬을 포함함으로써 추론 성능을 향상시킵니다. 이러한 연구의 데이터 분석을 통해 여러 에이전트를 함께 배치하면 어떤 문제에서는 성능이 향상될 수 있다는 것을 알 수 있습니다. 예를 들어, LLM-Debate(Du et al., 2023)의 섹션 3.3의 표 10에서 저자들은 토론 에이전트의 수에 따라 수학 문제의 정확도가 증가한다는 예비적인 곡선을 보고했습니다(수는 단순히 1에서 7로 증가했지만). 또한 Wang et al. (2023)에서는 더 많은 사고의 사슬 파이프라인(이를 "샘플 및 한계화" 디코딩 절차라고 함)을 포함하면 성능이 향상될 수 있습니다. 인스턴스화된 에이전트의 수를 무차별 대입하여 LLM 성능을 향상시킬 수 있다는 것을 알 수 있습니다. 그러나 이러한 작업의 초점은 "원시" 에이전트의 확장 속성이 아니기 때문에 고려된 시나리오/작업과 실험이 제한적입니다. 지금까지 이러한 현상에 대한 전담적인 심층 연구는 부족합니다.