**Planning with Feedback**: In many real-world scenarios, the agents need to make long-horizon planning to solve complex tasks. When facing these tasks, the above planning modules without feedback can be less effective due to the following reasons: firstly, generating a flawless plan directly from the beginning is extremely difficult as it needs to consider various complex preconditions. As a result, simply following the initial plan often leads to failure. Moreover, the execution of the plan may be hindered by unpredictable transition dynamics, rendering the initial plan non-executable. Simultaneously, when examining how humans tackle complex tasks, we find that individuals may iteratively make and revise their plans based on external feedback. To simulate such human capability, researchers have designed many planning modules, where the agent can receive feedback after taking actions. The feedback can be obtained from environments, humans, and models, which are detailed in the following.
**Planning with Feedback**: 실제 시나리오에서는 에이전트가 복잡한 작업을 해결하기 위해 장기적인 계획을 세워야 하는 경우가 많습니다. 이러한 작업에 직면했을 때 피드백이 없는 위의 planning 모듈은 다음과 같은 이유로 효과가 떨어질 수 있습니다. 첫째, 다양한 복잡한 전제 조건을 고려해야 하기 때문에 처음부터 완벽한 계획을 생성하는 것은 매우 어렵습니다. 결과적으로 초기 계획을 단순히 따르면 실패로 이어지는 경우가 많습니다. 또한 예측할 수 없는 전환 역학으로 인해 계획 실행이 방해를 받아 초기 계획을 실행할 수 없게 될 수도 있습니다. 동시에 인간이 복잡한 작업을 어떻게 해결하는지 살펴보면, 개인이 외부 피드백을 바탕으로 계획을 반복적으로 만들고 수정할 수 있다는 것을 알 수 있습니다. 이러한 인간의 능력을 시뮬레이션하기 위해 연구자들은 에이전트가 행동을 취한 후 피드백을 받을 수 있는 많은 planning 모듈을 설계했습니다. 피드백은 환경, 인간, 모델에서 얻을 수 있으며, 이는 다음에서 자세히 설명합니다.
**피드백을 통한 계획**: 실제 시나리오에서는 에이전트가 복잡한 작업을 해결하기 위해 장기적인 계획을 세워야 하는 경우가 많습니다. 이러한 작업에 직면했을 때 피드백이 없는 위의 계획 모듈은 다음과 같은 이유로 효과가 떨어질 수 있습니다. 첫째, 다양한 복잡한 전제 조건을 고려해야 하기 때문에 처음부터 완벽한 계획을 생성하는 것은 매우 어렵습니다. 결과적으로 초기 계획을 단순히 따르면 실패로 이어지는 경우가 많습니다. 또한 예측할 수 없는 전환 역학으로 인해 계획 실행이 방해를 받아 초기 계획을 실행할 수 없게 될 수도 있습니다. 동시에 인간이 복잡한 작업을 어떻게 해결하는지 살펴보면, 개인이 외부 피드백을 바탕으로 계획을 반복적으로 만들고 수정할 수 있다는 것을 알 수 있습니다. 이러한 인간의 능력을 시뮬레이션하기 위해 연구자들은 에이전트가 행동을 취한 후 피드백을 받을 수 있는 많은 계획 모듈을 설계했습니다. 피드백은 환경, 인간, 모델에서 얻을 수 있으며, 이는 다음에서 자세히 설명합니다.