**LLM Self-Ensemble.** CoT-SC (Wang et al., 2023) harnesses diverse chain-of-thought (Wei et al., 2022) prompts to elicit a variety of reasoning processes from a single LLM and select the final answer through majority voting. Fu et al. (2023); Li et al. (2023); Cobbe et al. (2021); Thoppilan et al. (2022); Lin et al. (2023) can be considered as the extensions of CoT-SC. These methods mainly focus on reasoning tasks and exclusively investigate the compatibility with CoT. In contrast, our method not only validates effectiveness in reasoning tasks but also in generation tasks. Moreover, our method is compatible with a broader range of methods, such as prompt engineering (including CoT) and multiple LLM agents collaboration. Very recently, Lu et al. (2024) proposes a method named Blended that utilizes multiple LLMs for chat scenarios. In contrast, Blended focuses on utilizing the power of multiple LLMs, whereas our focus is on the scaling trend of adding more LLMs. Also, Blended is only for limited chat scenarios evaluated via human annotations. Furthermore, we explore orthogonality with other methods.
**LLM Self-Ensemble**. CoT-SC(Wang et al., 2023)는 다양한 chain-of-thought(Wei et al., 2022) prompts를 활용하여 단일 LLM에서 다양한 추론 과정을 이끌어내고 다수결 투표를 통해 최종 답을 선택합니다. Fu et al. (2023); Li et al. (2023); Cobbe et al. (2021); Thoppilan et al. (2022); Lin et al. (2023)은 CoT-SC의 확장으로 간주할 수 있습니다. 이러한 방법은 주로 reasoning tasks에 초점을 맞추고 있으며 CoT와의 호환성만을 조사합니다. 반면, 저희 방법은 reasoning tasks뿐만 아니라 generation tasks에서도 효과를 검증합니다. 또한, 저희 방법은 prompt engineering(CoT 포함) 및 여러 LLM agents 협업과 같은 더 광범위한 방법과 호환됩니다. 아주 최근에 Lu et al. (2024)은 채팅 시나리오를 위해 여러 LLM을 활용하는 Blended라는 방법을 제안했습니다. 반면, Blended는 여러 LLM의 기능을 활용하는 데 초점을 맞춘 반면, 저희는 더 많은 LLM을 추가하는 scaling trend에 초점을 맞추고 있습니다. 또한 Blended는 사람의 주석을 통해 평가되는 제한된 채팅 시나리오에만 적용됩니다. 또한 다른 방법과의 orthogonality를 탐구합니다.
**LLM 셀프 앙상블**. CoT-SC(Wang et al., 2023)는 다양한 연쇄 사고(Wei et al., 2022) 프롬프트를 활용하여 단일 LLM에서 다양한 추론 과정을 이끌어내고 다수결 투표를 통해 최종 답을 선택합니다. Fu et al. (2023); Li et al. (2023); Cobbe et al. (2021); Thoppilan et al. (2022); Lin et al. (2023)은 CoT-SC의 확장으로 간주할 수 있습니다. 이러한 방법은 주로 추론 작업에 초점을 맞추고 있으며 CoT와의 호환성만을 조사합니다. 반면, 저희 방법은 추론 작업뿐만 아니라 생성 작업에서도 효과를 검증합니다. 또한, 저희 방법은 프롬프트 엔지니어링(CoT 포함) 및 여러 LLM 에이전트 협업과 같은 더 광범위한 방법과 호환됩니다. 아주 최근에 Lu et al. (2024)은 채팅 시나리오를 위해 여러 LLM을 활용하는 Blended라는 방법을 제안했습니다. 반면, Blended는 여러 LLM의 기능을 활용하는 데 초점을 맞춘 반면, 저희는 더 많은 LLM을 추가하는 확장 추세에 초점을 맞추고 있습니다. 또한 Blended는 사람의 주석을 통해 평가되는 제한된 채팅 시나리오에만 적용됩니다. 또한 다른 방법과의 직교성을 탐구합니다.