\(\bullet\)_Environmental Feedback_. This feedback is obtained from the objective world or virtual environment. For instance, it could be the game's task completion signals or the observations made after the agent takes an action. In specific, ReAct [59] proposes constructing prompts using thought-act-observation triplets. The thought component aims to facilitate high-level reasoning and planning for guiding agent behaviors. The act represents a specific action taken by the agent. The observation corresponds to the outcome of the action, acquired through external feedback, such as search engine results. The next thought is influenced by the previous observations, which makes the generated plans more adaptive to the environment. Voyager [38] makes plans by incorporating three types of environment feedback including the intermediate progress of program execution, the execution error and self-verification results. These signals can help the agent to make better plans for the next action. Similar to Voyager, Ghost [16] also incorporates feedback into the reasoning and action taking processes. This feedback encompasses the environment states as well as the success and failure information for each executed action. SayPlan [31] leverages environmental feedback derived from a scene graph simulator to validate and refine its strategic formulations. This simulator is adept at discerning the outcomes and state transitions subsequent to agent actions, facilitating SayPlan's iterative recalibration of its strategies until a viable plan is ascertained. In DEPS [33], the authors argue that solely providing information about the completion of a task is often inadequate for correcting planning errors. Therefore, they propose informing the agent about the detail reasons for task failure, allowing them to more effectively revise their plans. LLM-Planner [60] introduces a grounded re-planning algorithm that dynamically updates plans generated by LLMs when encountering object mismatches and unattainable plans during task completion. Inner Monologue [61] provides three types of feedback to the agent after it takes actions: (1) whether the task is successfully completed, (2) passive scene descriptions, and (3) active scene descriptions. The former two are generated from the environments, which makes the agent actions more reasonable.
\(\bullet\)_환경 Feedback_. 이 Feedback은 객관적인 세계 또는 가상 환경에서 얻습니다. 예를 들어 게임의 과제 완료 신호나 에이전트가 행동을 취한 후 얻은 관찰 결과가 될 수 있습니다. 특히, ReAct [59]는 생각-행동-관찰 삼중 항으로 프롬프트를 구성할 것을 제안합니다. 생각 요소는 에이전트 행동을 유도하기 위한 높은 수준의 추론과 계획을 촉진하는 것을 목표로 합니다. 행동은 에이전트가 취한 특정 행동을 나타냅니다. 관찰은 검색 엔진 결과와 같은 외부 Feedback을 통해 획득한 행동의 결과에 해당합니다. 다음 생각은 이전 관찰의 영향을 받아 생성된 계획이 환경에 더 잘 적응할 수 있도록 합니다. Voyager [38]는 프로그램 실행의 중간 진행 상황, 실행 오류 및 자체 검증 결과 등 세 가지 유형의 환경 Feedback을 통합하여 계획을 수립합니다. 이러한 신호는 에이전트가 다음 행동에 대해 더 나은 계획을 세우는 데 도움이 될 수 있습니다. Voyager와 유사하게 Ghost [16]도 Feedback을 추론 및 행동 수행 프로세스에 통합합니다. 이 Feedback에는 환경 상태와 실행된 각 작업의 성공 및 실패 정보가 포함됩니다. SayPlan [31]은 장면 그래프 시뮬레이터에서 파생된 환경 Feedback을 활용하여 전략 공식을 검증하고 개선합니다. 이 시뮬레이터는 에이전트의 행동 이후의 결과와 상태 전환을 파악하는 데 능숙하여 실행 가능한 계획이 확인될 때까지 SayPlan의 전략을 반복적으로 재조정할 수 있도록 지원합니다. DEPS [33]의 저자들은 작업 완료에 대한 정보만 제공하는 것은 계획 오류를 수정하기에 충분하지 않다고 주장합니다. 따라서 저자들은 작업 실패에 대한 자세한 이유를 에이전트에게 알려 에이전트가 계획을 보다 효과적으로 수정할 수 있도록 제안합니다. LLM-Planner [60]는 작업 완료 중에 객체 불일치 및 달성 불가능한 계획이 발생했을 때 LLM이 생성한 계획을 동적으로 업데이트하는 근거리 재계획 알고리즘을 도입합니다. Inner Monologue [61]은 에이전트가 행동을 취한 후 세 가지 유형의 Feedback을 제공합니다: (1) 작업이 성공적으로 완료되었는지 여부, (2) 수동 장면 설명, (3) 능동 장면 설명. 전자 두 가지는 환경에서 생성되므로 에이전트의 행동이 더 합리적입니다.
\(\bullet\)_환경 피드백_. 이 피드백은 객관적인 세계 또는 가상 환경에서 얻습니다. 예를 들어 게임의 과제 완료 신호나 에이전트가 행동을 취한 후 얻은 관찰 결과가 될 수 있습니다. 특히, ReAct [59]는 생각-행동-관찰 삼중 항으로 프롬프트를 구성할 것을 제안합니다. 생각 요소는 에이전트 행동을 유도하기 위한 높은 수준의 추론과 계획을 촉진하는 것을 목표로 합니다. 행동은 에이전트가 취한 특정 행동을 나타냅니다. 관찰은 검색 엔진 결과와 같은 외부 피드백을 통해 획득한 행동의 결과에 해당합니다. 다음 생각은 이전 관찰의 영향을 받아 생성된 계획이 환경에 더 잘 적응할 수 있도록 합니다. Voyager [38]는 프로그램 실행의 중간 진행 상황, 실행 오류 및 자체 검증 결과 등 세 가지 유형의 환경 피드백을 통합하여 계획을 수립합니다. 이러한 신호는 에이전트가 다음 행동에 대해 더 나은 계획을 세우는 데 도움이 될 수 있습니다. Voyager와 유사하게 Ghost [16]도 피드백을 추론 및 행동 수행 프로세스에 통합합니다. 이 피드백에는 환경 상태와 실행된 각 작업의 성공 및 실패 정보가 포함됩니다. SayPlan [31]은 장면 그래프 시뮬레이터에서 파생된 환경 피드백을 활용하여 전략 공식을 검증하고 개선합니다. 이 시뮬레이터는 에이전트의 행동 이후의 결과와 상태 전환을 파악하는 데 능숙하여 실행 가능한 계획이 확인될 때까지 SayPlan의 전략을 반복적으로 재조정할 수 있도록 지원합니다. DEPS [33]의 저자들은 작업 완료에 대한 정보만 제공하는 것은 계획 오류를 수정하기에 충분하지 않다고 주장합니다. 따라서 저자들은 작업 실패에 대한 자세한 이유를 에이전트에게 알려 에이전트가 계획을 보다 효과적으로 수정할 수 있도록 제안합니다. LLM-Planner [60]는 작업 완료 중에 객체 불일치 및 달성 불가능한 계획이 발생했을 때 LLM이 생성한 계획을 동적으로 업데이트하는 근거리 재계획 알고리즘을 도입합니다. 내부 독백 [61]은 에이전트가 행동을 취한 후 세 가지 유형의 피드백을 제공합니다: (1) 작업이 성공적으로 완료되었는지 여부, (2) 수동 장면 설명, (3) 능동 장면 설명. 전자 두 가지는 환경에서 생성되므로 에이전트의 행동이 더 합리적입니다.