\(\bullet\)_Multi-path Reasoning_. In this strategy, the reasoning steps for generating the final plans are organized into a tree-like structure. Each intermediate step may have multiple subsequent steps. This approach is analogous to human thinking, as individuals may have multiple choices at each reasoning step. In specific, Self-consistent CoT (CoT-SC) [49] believes that each complex problem has multiple ways of thinking to deduce the final answer. Thus, it starts by employing CoT to generate various reasoning paths and corresponding answers. Subsequently, the answer with the highest frequency is chosen as the final output. Tree of Thoughts (ToT) [50] is designed to generate plans using a tree-like reasoning structure. In this approach, each node in the tree represents a "thought," which correspondsto an intermediate reasoning step. The selection of these intermediate steps is based on the evaluation of LLMs. The final plan is generated using either the breadth-first search (BFS) or depth-first search (DFS) strategy. Comparing with CoT-SC, which generates all the planed steps together, ToT needs to query LLMs for each reasoning step. In RecMind [51], the authors designed a self-inspiring mechanism, where the discarded historical information in the planning process is also leveraged to derive new reasoning steps. In GoT [52], the authors expand the tree-like reasoning structure in ToT to graph structures, resulting in more powerful prompting strategies. In AoT [53], the authors design a novel method to enhance the reasoning processes of LLMs by incorporating algorithmic examples into the prompts. Remarkably, this method only needs to query LLMs for only one or a few times. In [54], the LLMs are leveraged as zero-shot planners. At each planning step, they first generate multiple possible next steps, and then determine the final one based on their distances to admissible actions. [55] further improves [54] by incorporating examples that are similar to the queries in the prompts. RAP [56] builds a world model to simulate the potential benefits of different plans based on Monte Carlo Tree Search (MCTS), and then, the final plan is generated by aggregating multiple MCTS iterations. To enhance comprehension, we provide an illustration comparing the strategies of single-path and multi-path reasoning in Figure 3.
\(\bullet\)_Multi-path Reasoning_. 이 전략에서는 최종 계획을 생성하기 위한 추론 단계가 트리와 같은 구조로 구성됩니다. 각 중간 단계에는 여러 개의 후속 단계가 있을 수 있습니다. 이 접근 방식은 인간의 사고와 유사하며, 개인은 각 추론 단계에서 여러 가지 선택을 할 수 있습니다. 특히, Self-consistent CoT (CoT-SC) [49]는 각 복잡한 문제에는 최종 답을 추론할 수 있는 여러 가지 사고방식이 있다고 믿습니다. 따라서 CoT를 사용하여 다양한 추론 경로와 해당 답을 생성하는 것으로 시작합니다. 그런 다음 빈도가 가장 높은 답을 최종 출력으로 선택합니다. Tree of Thoughts (ToT) [50]는 트리와 같은 추론 구조를 사용하여 계획을 생성하도록 설계되었습니다. 이 접근 방식에서 트리의 각 노드는 중간 추론 단계에 해당하는 '생각'을 나타냅니다. 이러한 중간 단계의 선택은 LLM의 평가를 기반으로 합니다. 최종 계획은 breadth-first search (BFS) 또는 depth-first search (DFS) 전략을 사용하여 생성됩니다. 계획된 모든 단계를 함께 생성하는 CoT-SC와 비교하여, ToT는 각 추론 단계에 대해 LLM에 쿼리해야 합니다. RecMind [51]에서 저자는 계획 과정에서 폐기된 과거 정보를 활용하여 새로운 추론 단계를 도출하는 자기 영감 메커니즘을 설계했습니다. GoT [52]에서는 트리와 같은 추론 구조를 그래프 구조로 확장하여 더욱 강력한 프롬프트 전략을 만들었습니다. AoT [53]에서는 알고리즘 예제를 프롬프트에 통합하여 LLM의 추론 프로세스를 향상시키는 새로운 방법을 설계했습니다. 놀랍게도 이 방법은 LLM에 한두 번만 쿼리하면 됩니다. [54]에서는 LLM을 zero-shot 플래너로 활용했습니다. 각 계획 단계에서 먼저 가능한 여러 가지 다음 단계를 생성한 다음 허용 가능한 작업까지의 거리를 기준으로 최종 단계를 결정합니다. [55]는 쿼리와 유사한 예제를 프롬프트에 통합하여 [54]를 더욱 개선했습니다. RAP [56]은 Monte Carlo Tree Search (MCTS)를 기반으로 다양한 계획의 잠재적 이점을 시뮬레이션하기 위해 월드 모델을 구축한 다음 여러 MCTS 반복을 집계하여 최종 계획을 생성합니다. 이해를 돕기 위해 그림 3에 단일 경로 추론과 다중 경로 추론 전략을 비교한 그림을 제공합니다.
\(\bullet\)_멀티패스 추론_. 이 전략에서는 최종 계획을 생성하기 위한 추론 단계가 트리와 같은 구조로 구성됩니다. 각 중간 단계에는 여러 개의 후속 단계가 있을 수 있습니다. 이 접근 방식은 인간의 사고와 유사하며, 개인은 각 추론 단계에서 여러 가지 선택을 할 수 있습니다. 특히, 자기 일관성 CoT(CoT-SC) [49]는 각 복잡한 문제에는 최종 답을 추론할 수 있는 여러 가지 사고방식이 있다고 믿습니다. 따라서 CoT를 사용하여 다양한 추론 경로와 해당 답을 생성하는 것으로 시작합니다. 그런 다음 빈도가 가장 높은 답을 최종 출력으로 선택합니다. 생각의 트리(ToT) [50]는 트리와 같은 추론 구조를 사용하여 계획을 생성하도록 설계되었습니다. 이 접근 방식에서 트리의 각 노드는 중간 추론 단계에 해당하는 '생각'을 나타냅니다. 이러한 중간 단계의 선택은 LLM의 평가를 기반으로 합니다. 최종 계획은 넓이 우선 검색(BFS) 또는 깊이 우선 검색(DFS) 전략을 사용하여 생성됩니다. 계획된 모든 단계를 함께 생성하는 CoT-SC와 비교하여, ToT는 각 추론 단계에 대해 LLM에 쿼리해야 합니다. RecMind [51]에서 저자는 계획 과정에서 폐기된 과거 정보를 활용하여 새로운 추론 단계를 도출하는 자기 영감 메커니즘을 설계했습니다. GoT [52]에서는 트리와 같은 추론 구조를 그래프 구조로 확장하여 더욱 강력한 프롬프트 전략을 만들었습니다. AoT [53]에서는 알고리즘 예제를 프롬프트에 통합하여 LLM의 추론 프로세스를 향상시키는 새로운 방법을 설계했습니다. 놀랍게도 이 방법은 LLM에 한두 번만 쿼리하면 됩니다. [54]에서는 LLM을 제로 샷 플래너로 활용했습니다. 각 계획 단계에서 먼저 가능한 여러 가지 다음 단계를 생성한 다음 허용 가능한 작업까지의 거리를 기준으로 최종 단계를 결정합니다. [55]는 쿼리와 유사한 예제를 프롬프트에 통합하여 [54]를 더욱 개선했습니다. RAP [56]은 몬테카를로 트리 검색(MCTS)을 기반으로 다양한 계획의 잠재적 이점을 시뮬레이션하기 위해 월드 모델을 구축한 다음 여러 MCTS 반복을 집계하여 최종 계획을 생성합니다. 이해를 돕기 위해 그림 3에 단일 경로 추론과 다중 경로 추론 전략을 비교한 그림을 제공합니다.