(1) _Trial-and-error_. In this method, the agent first performs an action, and subsequently, a pre-defined critic is invoked to judge the action. If the action is deemed unsatisfactory, then the agent reacts by incorporating the critic's feedback. In RAH [92], the agent serves as a user assistant in recommender systems. One of the agent's crucial roles is to simulate human behavior and generate responses on behalf of the user. To fulfill this objective, the agent first generates a predicted response and then compares it with the real human feedback. If the predicted response and the real human feedback differ, the critic generates failure information, which is subsequently incorporated into the agent's next action. In DEPS [33], the agent first designs a plan to accomplish a given task. In the plan execution process, if an action fails, the explainer generates specific details explaining the cause of the failure. This information is then incorporated by the agent to redesign the plan. In RoCo [93], the agent first proposes a sub-task plan and a path of 3D waypoints for each robot in a multi-robot collaboration task. The plan and waypoints are then validated by a set of environment checks, such as collision detection and inverse kinematics. If any of the checks fail, the feedback is appended to each agent's prompt and another round of dialog begins. The agents use LLMs to discuss and improve their plan and waypoints until they pass all validations. In PREFER [94], the agent first evaluates its performance on a subset of data. If it fails to solve certain examples, LLMs are leveraged to generate feedback information reflecting on the reasons of the failure. Based on this feedback, the agent improves itself by iteratively refining its actions.
(1) _Trial-and-error_. 이 방법에서는 먼저 agent가 action을 수행한 다음 사전 정의된 critic을 호출하여 action을 판단합니다. action이 불만족스러운 것으로 판단되면 agent는 critic의 feedback을 통합하여 반응합니다. RAH [92]에서 agent는 추천 시스템에서 사용자 도우미 역할을 합니다. agent의 중요한 역할 중 하나는 인간의 행동을 시뮬레이션하고 사용자를 대신하여 응답을 생성하는 것입니다. 이 목표를 달성하기 위해 agent는 먼저 예측된 응답을 생성한 다음 실제 사용자 feedback과 비교합니다. 예측된 응답과 실제 사용자 feedback이 다르면 critic은 실패 정보를 생성하고 이 정보는 agent의 다음 작업에 통합됩니다. DEPS [33]에서 agent는 먼저 주어진 작업을 완료하기 위한 계획을 설계합니다. 계획 실행 과정에서 어떤 작업이 실패하면 explainer는 실패 원인을 설명하는 구체적인 세부 정보를 생성합니다. 이 정보는 agent가 계획을 재설계할 때 통합됩니다. RoCo [93]에서 agent는 먼저 멀티 로봇 협업 작업에서 각 로봇에 대한 하위 작업 계획과 3D 웨이포인트 경로를 제안합니다. 그런 다음 충돌 감지 및 역동역학과 같은 일련의 환경 검사를 통해 계획과 웨이포인트의 유효성을 검사합니다. 검사 중 하나라도 실패하면 각 agent의 prompt에 feedback이 추가되고 다른 라운드의 대화가 시작됩니다. agent는 모든 유효성 검사를 통과할 때까지 LLM을 사용하여 계획과 웨이포인트를 논의하고 개선합니다. PREFER [94]에서 agent는 먼저 데이터의 하위 집합에 대한 성능을 평가합니다. 특정 예제를 해결하지 못하면 실패 원인을 반영하는 feedback 정보를 생성하기 위해 LLM을 활용합니다. 이 feedback을 기반으로 agent는 반복적으로 동작을 개선하여 자신을 개선합니다.
(1) _시행착오_. 이 방법에서는 먼저 에이전트가 액션을 수행한 다음 사전 정의된 비평가를 호출하여 액션을 판단합니다. 액션이 불만족스러운 것으로 판단되면 에이전트는 비평가의 피드백을 통합하여 반응합니다. RAH [92]에서 에이전트는 추천 시스템에서 사용자 도우미 역할을 합니다. 에이전트의 중요한 역할 중 하나는 인간의 행동을 시뮬레이션하고 사용자를 대신하여 응답을 생성하는 것입니다. 이 목표를 달성하기 위해 에이전트는 먼저 예측된 응답을 생성한 다음 실제 사용자 피드백과 비교합니다. 예측된 응답과 실제 사용자 피드백이 다르면 비평가는 실패 정보를 생성하고 이 정보는 에이전트의 다음 작업에 통합됩니다. DEPS [33]에서 에이전트는 먼저 주어진 작업을 완료하기 위한 계획을 설계합니다. 계획 실행 과정에서 어떤 작업이 실패하면 설명기는 실패 원인을 설명하는 구체적인 세부 정보를 생성합니다. 이 정보는 에이전트가 계획을 재설계할 때 통합됩니다. RoCo [93]에서 에이전트는 먼저 멀티 로봇 협업 작업에서 각 로봇에 대한 하위 작업 계획과 3D 웨이포인트 경로를 제안합니다. 그런 다음 충돌 감지 및 역동역학과 같은 일련의 환경 검사를 통해 계획과 웨이포인트의 유효성을 검사합니다. 검사 중 하나라도 실패하면 각 에이전트의 프롬프트에 피드백이 추가되고 다른 라운드의 대화가 시작됩니다. 에이전트는 모든 유효성 검사를 통과할 때까지 LLM을 사용하여 계획과 웨이포인트를 논의하고 개선합니다. PREFER [94]에서 에이전트는 먼저 데이터의 하위 집합에 대한 성능을 평가합니다. 특정 예제를 해결하지 못하면 실패 원인을 반영하는 피드백 정보를 생성하기 위해 LLM을 활용합니다. 이 피드백을 기반으로 에이전트는 반복적으로 동작을 개선하여 자신을 개선합니다.