To test this ability, several embodied AI environments and benchmarks can be used for evaluation, described as follows. VirtualHome [606] builds a 3D simulator for household tasks such as cleaning and cooking, in which the agent can execute natural language actions generated by LLMs. ALFRED [608] includes more challenging tasks that require LLMs to accomplish compositional targets. BEHAVIOR [607] focuses on everyday chores in simulation environments and requires LLMs to generate complex solutions, _e.g._, changing the internal status of objects. Apart from restricted environments such as household tasks, a line of research work investigates the proficiency of LLM-based agents to explore open-world environments, such as Minecraft and the Internet [696, 697]. Voyager [697] introduces an automatic curriculum module that enables LLMs to continuously acquire new skills based on feedback from the environment. GITM [696] focuses on solving various challenges in Minecraft based on LLM, through task decomposition, planning, and invocation of interfaces. Based on the generated action plans or task completions, existing work either adopts the regular metrics (_e.g._, executability and correctness of the generated action plans) [694] in the benchmark or directly conducts real-world experiments and measures the success rate [698], to evaluate such ability. It has been shown that LLMs are capable in interacting with the external environment and generating accurate action plans [699]. Recently, several improvement methods have been proposed to enhance the interaction ability of LLMs, _e.g._, designing code-like prompts [530] and providing real-world grounding [698].
이러한 능력을 테스트하기 위해 다음과 같이 설명한 여러 구현된 AI 환경과 벤치마크를 사용하여 평가할 수 있습니다. VirtualHome [606]은 청소 및 요리와 같은 가정 내 작업을 위한 3D 시뮬레이터를 구축하여 에이전트가 LLM에서 생성된 자연어 동작을 실행할 수 있도록 합니다. ALFRED [608]에는 LLM이 구성적인 목표를 달성해야 하는 더욱 도전적인 작업이 포함되어 있습니다. BEHAVIOR [607]은 시뮬레이션 환경에서 일상적인 집안일을 중점으로 하며, LLM이 물체의 내부 상태를 변경하는 등 복잡한 솔루션을 생성하도록 요구합니다. 가사 작업과 같은 제한된 환경 외에도 Minecraft 및 인터넷과 같은 오픈 월드 환경을 탐색하는 LLM 기반 에이전트의 숙련도를 조사하는 연구 작업이 진행되고 있습니다[696, 697]. Voyager [697]는 환경의 피드백을 기반으로 LLM이 지속적으로 새로운 기술을 습득할 수 있는 자동 커리큘럼 모듈을 도입합니다. GITM [696]은 작업 분해, 계획 및 인터페이스 호출을 통해 LLM을 기반으로 Minecraft에서 다양한 과제를 해결하는 데 중점을 둡니다. 생성된 액션 계획 또는 작업 완료를 기반으로 기존 작업은 벤치마크에서 일반적인 메트릭(예: 생성된 액션 계획의 실행 가능성 및 정확성) [694]을 채택하거나 실제 실험을 직접 수행하여 성공률 [698]을 측정하여 이러한 능력을 평가합니다. LLM이 외부 환경과 상호 작용하고 정확한 액션 계획을 생성할 수 있는 것으로 나타났습니다[699]. 최근에는 코드와 같은 프롬프트 설계[530] 및 실제 그라운딩 제공[698]과 같이 LLM의 상호 작용 능력을 향상시키기 위한 몇 가지 개선 방법이 제안되었습니다.
이러한 능력을 테스트하기 위해 다음과 같이 설명한 여러 구현된 AI 환경과 벤치마크를 사용하여 평가할 수 있습니다. VirtualHome [606]은 청소 및 요리와 같은 가정 내 작업을 위한 3D 시뮬레이터를 구축하여 에이전트가 LLM에서 생성된 자연어 동작을 실행할 수 있도록 합니다. ALFRED [608]에는 LLM이 구성적인 목표를 달성해야 하는 더욱 도전적인 작업이 포함되어 있습니다. BEHAVIOR [607]은 시뮬레이션 환경에서 일상적인 집안일을 중점으로 하며, LLM이 물체의 내부 상태를 변경하는 등 복잡한 솔루션을 생성하도록 요구합니다. 가사 작업과 같은 제한된 환경 외에도 마인크래프트 및 인터넷과 같은 오픈 월드 환경을 탐색하는 LLM 기반 에이전트의 숙련도를 조사하는 연구 작업이 진행되고 있습니다[696, 697]. Voyager [697]는 환경의 피드백을 기반으로 LLM이 지속적으로 새로운 기술을 습득할 수 있는 자동 커리큘럼 모듈을 도입합니다. GITM [696]은 작업 분해, 계획 및 인터페이스 호출을 통해 LLM을 기반으로 마인크래프트에서 다양한 과제를 해결하는 데 중점을 둡니다. 생성된 액션 계획 또는 작업 완료를 기반으로 기존 작업은 벤치마크에서 일반적인 메트릭(예: 생성된 액션 계획의 실행 가능성 및 정확성) [694]을 채택하거나 실제 실험을 직접 수행하여 성공률 [698]을 측정하여 이러한 능력을 평가합니다. LLM이 외부 환경과 상호 작용하고 정확한 액션 계획을 생성할 수 있는 것으로 나타났습니다[699]. 최근에는 코드와 같은 프롬프트 설계[530] 및 실제 그라운딩 제공[698]과 같이 LLM의 상호 작용 능력을 향상시키기 위한 몇 가지 개선 방법이 제안되었습니다.