Another technique is to improve the model's ability to correct errors and summarize historical experience. Self-Refine (Madaan et al., 2023) employs a unique approach where the output generated by the model is evaluated and provided with feedback using the same model. Reflexion (Shinn et al., 2023) enables the model to reflect on and rectify errors made in previous actions, resembles reinforcement learning in textual format, and involves dividing memory into long and short-term components. However, Reflexion cannot update the plan when an out-of-plan error occurs. AdaPlanner (Sun et al., 2023) introduces adaptive closed-loop plan refinement, which iterative refines the task plan based on the feedback of the environment. ISR-LLM (Zhou et al., 2023) combines Self-Refine with PDDL to achieve a better success rate in long-horizon sequential tasks. Meanwhile, LATS (Zhou et al., 2023) utilizes LM-based Monte Carlo Tree Search for a more flexible planning procedure.
또 다른 기법은 모델이 오류를 수정하고 과거 경험을 요약하는 능력을 향상시키는 것입니다. Self-Refine(Madaan et al., 2023)은 모델이 생성한 출력을 동일한 모델을 사용하여 평가하고 피드백을 제공하는 독특한 접근 방식을 사용합니다. Reflexion(Shinn et al., 2023)은 모델이 이전 행동에서 저지른 오류를 반성하고 수정할 수 있도록 하며, 텍스트 형식의 Reinforcement Learning과 유사하며 메모리를 장기 및 단기 구성 요소로 나누는 것을 포함합니다. 그러나 Reflexion은 계획 외 오류가 발생했을 때 계획을 업데이트할 수 없습니다. AdaPlanner(Sun et al., 2023)는 환경의 피드백을 기반으로 작업 계획을 반복적으로 구체화하는 적응형 폐쇄 루프 계획 구체화를 도입합니다. ISR-LLM(Zhou et al., 2023)은 Self-Refine과 PDDL을 결합하여 장기 순차 작업에서 더 나은 성공률을 달성합니다. 한편, LATS(Zhou et al., 2023)는 보다 유연한 계획 절차를 위해 LM 기반 몬테카를로 트리 검색을 활용합니다.
또 다른 기법은 모델이 오류를 수정하고 과거 경험을 요약하는 능력을 향상시키는 것입니다. 셀프 리파인(Madaan et al., 2023)은 모델이 생성한 출력을 동일한 모델을 사용하여 평가하고 피드백을 제공하는 독특한 접근 방식을 사용합니다. 리플렉션(Shinn et al., 2023)은 모델이 이전 행동에서 저지른 오류를 반성하고 수정할 수 있도록 하며, 텍스트 형식의 강화 학습과 유사하며 메모리를 장기 및 단기 구성 요소로 나누는 것을 포함합니다. 그러나 리플렉션은 계획 외 오류가 발생했을 때 계획을 업데이트할 수 없습니다. AdaPlanner(Sun et al., 2023)는 환경의 피드백을 기반으로 작업 계획을 반복적으로 구체화하는 적응형 폐쇄 루프 계획 구체화를 도입합니다. ISR-LLM(Zhou et al., 2023)은 셀프 리파인과 PDDL을 결합하여 장기 순차 작업에서 더 나은 성공률을 달성합니다. 한편, LATS(Zhou et al., 2023)는 보다 유연한 계획 절차를 위해 LM 기반 몬테카를로 트리 검색을 활용합니다.