* Prompt Engineering. Various prompt engineering methods are considered to conduct comprehensive experiments. We evaluate Chain-of-Thought prompting (CoT) (Wei et al., 2022), Zero-Shot Chain-of-Thought prompting (Zero-Shot Cot) (Kojima et al., 2022), and more sophisticated methods such as Solo Performance Prompting (SPP) (Wang et al., 2023c). Initially, these methods are applied with a single LLM query. We then increase the number of queries and employ majority voting to determine the most consistent answer as the final response. * Multiple LLM Agents Collaboration. We select LLM-Debate (Du et al., 2023) denoted as Debate, and self-reflection (Shinn et al., 2023) denoted as Reflection. Within these methods, we generate multiple samples by iteratively operating these methods and using majority voting to produce the final answer.
* Prompt Engineering. 포괄적인 실험을 수행하기 위해 다양한 Prompt Engineering 방법을 고려합니다. Chain-of-Thought prompting (CoT) (Wei et al., 2022), Zero-Shot Chain-of-Thought prompting (Zero-Shot Cot) (Kojima et al., 2022) 등을 평가합니다. 처음에는 이러한 방법을 단일 LLM 쿼리와 함께 적용합니다. 그런 다음 쿼리 수를 늘리고 다수결 투표를 통해 가장 일관된 답변을 최종 응답으로 결정합니다. * 여러 LLM 에이전트 협업. LLM-Debate (Du et al., 2023)는 Debate로, self-reflection (Shinn et al., 2023)은 Reflection으로 표시합니다. 이러한 방법 내에서 이러한 방법을 반복적으로 작동하고 다수결 투표를 사용하여 최종 답변을 생성하여 여러 샘플을 생성합니다.
* 프롬프트 엔지니어링. 포괄적인 실험을 수행하기 위해 다양한 프롬프트 엔지니어링 방법을 고려합니다. 생각의 사슬 프롬프트(CoT)(Wei et al., 2022), 제로샷 생각의 사슬 프롬프트(Zero-Shot Cot)(Kojima et al., 2022) 등을 평가합니다. 처음에는 이러한 방법을 단일 LLM 쿼리와 함께 적용합니다. 그런 다음 쿼리 수를 늘리고 다수결 투표를 통해 가장 일관된 답변을 최종 응답으로 결정합니다. * 여러 LLM 에이전트 협업. LLM-Debate(Du et al., 2023)는 Debate로, 자기 성찰(Shinn et al., 2023)은 Reflection으로 표시합니다. 이러한 방법 내에서 이러한 방법을 반복적으로 작동하고 다수결 투표를 사용하여 최종 답변을 생성하여 여러 샘플을 생성합니다.