Learning to plan in synthetic environments.An important feature of the agent in Autonomous Machine Intelligence (LeCun, 2022) is planning--an ability of decomposing complex tasks into subtasks and finishing the subtasks in a reward-optimal way (Kambhampati et al., 2024). Synthetic data can be a valuable tool here as it can serve as the feedback signal collected from a simulator (Park et al., 2023), and learning on it can make the agent aware of affordances (Ahn et al., 2022; Liang et al., 2022). For example, Inner Monologue (Huang et al., 2022) leverages natural language form feedback generated by the simulated environment to teach LLM-based robots planning. They find that such feedback significantly improves high-level instruction completion on both simulated and real-world domains. To compose a large number of realistic planning tasks (e.g., _"Rearrange objects on a table to match a given scene."_), VIMA (Jiang et al., 2022) creates a multi-modality simulated environment called VIMA-Bench, which supports extensible collections of objects and textures. In the Minecraft game, Voyager (Wang et al., 2023) deploys a number of GPT-4 based agents to interact with the synthetic environment and finds that the agents can unlock new skills faster and complete planning more efficiently with the help of synthetic feedback.
합성 환경에서 계획하는 방법을 배우는 것. Autonomous Machine Intelligence(LeCun, 2022)에서 에이전트의 중요한 특징 중 하나는 복잡한 작업을 하위 작업으로 분해하고 보상 최적의 방식으로 하위 작업을 완료하는 계획 능력(Kambhampati et al., 2024)입니다. Synthetic data는 시뮬레이터에서 수집한 피드백 신호로 사용할 수 있기 때문에 여기서 유용한 도구가 될 수 있으며(Park et al., 2023), 이를 학습하면 에이전트가 affordances를 인식할 수 있습니다(Ahn et al., 2022; Liang et al., 2022). 예를 들어, Inner Monologue(Huang et al., 2022)는 시뮬레이션된 환경에서 생성된 자연어 형식의 피드백을 활용하여 LLM 기반 로봇의 계획을 가르칩니다. 이러한 피드백은 시뮬레이션 및 실제 도메인 모두에서 상위 수준의 instruction 완료를 크게 향상시키는 것으로 나타났습니다. 다양한 사례(예: _"주어진 장면과 일치하도록 테이블 위의 물체를 재배치하세요."_)의 사실적인 계획 작업을 구성하기 위해 VIMA(Jiang et al., 2022)는 확장 가능한 물체 및 텍스처 컬렉션을 지원하는 멀티모달리티 시뮬레이션 환경인 VIMA-Bench를 생성했습니다. 마인크래프트 게임에서 Voyager(Wang et al., 2023)는 여러 개의 GPT-4 기반 에이전트를 배포하여 합성 환경과 상호 작용하고, 에이전트가 synthetic feedback의 도움을 받아 새로운 스킬을 더 빨리 잠금 해제하고 계획을 더 효율적으로 완료할 수 있다는 사실을 발견했습니다.
합성 환경에서 계획하는 방법을 배우는 것.자율 머신 인텔리전스(LeCun, 2022)에서 에이전트의 중요한 특징 중 하나는 복잡한 작업을 하위 작업으로 분해하고 보상 최적의 방식으로 하위 작업을 완료하는 계획 능력(Kambhampati et al., 2024)입니다. 합성 데이터는 시뮬레이터에서 수집한 피드백 신호로 사용할 수 있기 때문에 여기서 유용한 도구가 될 수 있으며(Park et al., 2023), 이를 학습하면 에이전트가 어포던스를 인식할 수 있습니다(Ahn et al., 2022; Liang et al., 2022). 예를 들어, 이너 모놀로그(Huang et al., 2022)는 시뮬레이션된 환경에서 생성된 자연어 형식의 피드백을 활용하여 LLM 기반 로봇의 계획을 가르칩니다. 이러한 피드백은 시뮬레이션 및 실제 도메인 모두에서 상위 수준의 지침 완료를 크게 향상시키는 것으로 나타났습니다. 다양한 사례(예: _"주어진 장면과 일치하도록 테이블 위의 물체를 재배치하세요."_)의 사실적인 계획 작업을 구성하기 위해 VIMA(Jiang et al., 2022)는 확장 가능한 물체 및 텍스처 컬렉션을 지원하는 멀티모달리티 시뮬레이션 환경인 VIMA-Bench를 생성했습니다. 마인크래프트 게임에서 Voyager(Wang et al., 2023)는 여러 개의 GPT-4 기반 에이전트를 배포하여 합성 환경과 상호 작용하고, 에이전트가 합성 피드백의 도움을 받아 새로운 스킬을 더 빨리 잠금 해제하고 계획을 더 효율적으로 완료할 수 있다는 사실을 발견했습니다.