\(\bullet\)_Model Feedback._ Apart from the aforementioned environmental and human feedback, which are external signals, researchers have also investigated the utilization of internal feedback from the agents themselves. This type of feedback is usually generated based on pre-trained models. In specific, [62] proposes a self-refine mechanism. This mechanism consists of three crucial components: output, feedback, and refinement. Firstly, the agent generates an output. Then, it utilizes LLMs to provide feedback on the output and offer guidance on how to refine it. At last, the output is improved by the feedback and refinement. This output-feedback-refinement process iterates until reaching some desired conditions. SelfCheck [63] allows agents to examine and evaluate their reasoning steps generated at various stages. They can then correct any errors by comparing the outcomes. InterAct [64] uses different language models (such as ChatGPT and InstructGPT) as auxiliary roles, such as checkers and sorters, to help the main language model avoid erroneous and inefficient actions. ChatCoT [65] utilizes model feedback to improve the quality of its reasoning process. The model feedback is generated by an evaluation module that monitors the agent reasoning steps. Reflexion [12] is developed to enhance the agent's planning capability through detailed verbal feedback. In this model, the agent first produces an action based on its memory, and then, the evaluator generates feedback by taking the agent trajectory as input. In contrast to previous studies, where the feedback is given as a scalar value, this model leverages LLMs to provide more detailed verbal feedback, which can provide more comprehensive supports for the agent plans.
\(\bullet\)_Model Feedback._ 앞서 언급한 외부 신호인 환경 및 인간 피드백 외에도 연구자들은 에이전트 자체의 내부 피드백을 활용하는 방안도 연구했습니다. 이러한 유형의 피드백은 일반적으로 사전 학습된 모델을 기반으로 생성됩니다. 특히 [62]는 self-refine 메커니즘을 제안합니다. 이 메커니즘은 출력, 피드백, 개선이라는 세 가지 중요한 구성 요소로 구성됩니다. 먼저 에이전트가 출력을 생성합니다. 그런 다음 LLMs을 활용하여 출력에 대한 피드백을 제공하고 개선 방법을 안내합니다. 마지막으로 피드백과 개선을 통해 출력이 개선됩니다. 이 출력-피드백-개선 프로세스는 원하는 조건에 도달할 때까지 반복됩니다. SelfCheck [63]를 통해 에이전트는 다양한 단계에서 생성된 추론 단계를 검토하고 평가할 수 있습니다. 그런 다음 결과를 비교하여 오류를 수정할 수 있습니다. InterAct [64]는 다른 language models (예: ChatGPT 및 InstructGPT)을 검사자 및 정렬자와 같은 보조 역할로 사용하여 주 언어 모델이 잘못된 동작과 비효율적인 동작을 피할 수 있도록 돕습니다. ChatCoT [65]는 model feedback을 활용하여 추론 프로세스의 품질을 개선합니다. model feedback은 에이전트 추론 단계를 모니터링하는 평가 모듈에서 생성됩니다. Reflexion [12]은 상세한 언어 피드백을 통해 에이전트의 계획 기능을 향상시키기 위해 개발되었습니다. 이 모델에서 에이전트는 먼저 메모리를 기반으로 액션을 생성한 다음, 평가기는 에이전트 궤적을 입력으로 사용하여 피드백을 생성합니다. 피드백이 스칼라 값으로 제공되는 기존 연구와 달리, 이 모델은 LLMs을 활용하여 보다 상세한 언어 피드백을 제공함으로써 에이전트 계획에 대한 보다 포괄적인 지원을 제공할 수 있습니다.
\(\bullet\)_모델 피드백._ 앞서 언급한 외부 신호인 환경 및 인간 피드백 외에도 연구자들은 에이전트 자체의 내부 피드백을 활용하는 방안도 연구했습니다. 이러한 유형의 피드백은 일반적으로 사전 학습된 모델을 기반으로 생성됩니다. 특히 [62]는 자체 개선 메커니즘을 제안합니다. 이 메커니즘은 출력, 피드백, 개선이라는 세 가지 중요한 구성 요소로 구성됩니다. 먼저 에이전트가 출력을 생성합니다. 그런 다음 LLM을 활용하여 출력에 대한 피드백을 제공하고 개선 방법을 안내합니다. 마지막으로 피드백과 개선을 통해 출력이 개선됩니다. 이 출력-피드백-개선 프로세스는 원하는 조건에 도달할 때까지 반복됩니다. 셀프체크[63]를 통해 에이전트는 다양한 단계에서 생성된 추론 단계를 검토하고 평가할 수 있습니다. 그런 다음 결과를 비교하여 오류를 수정할 수 있습니다. InterAct [64]는 다른 언어 모델(예: ChatGPT 및 InstructGPT)을 검사자 및 정렬자와 같은 보조 역할로 사용하여 주 언어 모델이 잘못된 동작과 비효율적인 동작을 피할 수 있도록 돕습니다. ChatCoT [65]는 모델 피드백을 활용하여 추론 프로세스의 품질을 개선합니다. 모델 피드백은 에이전트 추론 단계를 모니터링하는 평가 모듈에서 생성됩니다. Reflexion [12]은 상세한 언어 피드백을 통해 에이전트의 계획 기능을 향상시키기 위해 개발되었습니다. 이 모델에서 에이전트는 먼저 메모리를 기반으로 액션을 생성한 다음, 평가기는 에이전트 궤적을 입력으로 사용하여 피드백을 생성합니다. 피드백이 스칼라 값으로 제공되는 기존 연구와 달리, 이 모델은 LLM을 활용하여 보다 상세한 언어 피드백을 제공함으로써 에이전트 계획에 대한 보다 포괄적인 지원을 제공할 수 있습니다.