The integration and deployment of large language model (LLM)-based intelligent agents have been fraught with challenges that compromise their efficiency and efficacy. Among these issues are sub-optimal scheduling and resource allocation of agent requests over the LLM, the difficulties in maintaining context during interactions between agent and LLM, and the complexities inherent in integrating heterogeneous agents with different capabilities and specializations. The rapid increase of agent quantity and complexity further exacerbates these issues, often leading to bottlenecks and sub-optimal utilization of resources. Inspired by these challenges, this paper presents AIOS, an LLM agent operating system, which embeds large language model into operating systems (OS) as the brain of the OS, enabling an operating system "with soul"--an important step towards AGI. Specifically, AIOS is designed to optimize resource allocation, facilitate context switch across agents, enable concurrent execution of agents, provide tool service for agents, and maintain access control for agents. We present the architecture of such an operating system, outline the core challenges it aims to resolve, and provide the basic design and implementation of the AIOS. Our experiments on concurrent execution of multiple agents demonstrate the reliability and efficiency of our AIOS modules. Through this, we aim to not only improve the performance and efficiency of LLM agents but also to pioneer for better development and deployment of the AIOS ecosystem in the future. The project is open-source at [https://github.com/agiresearch/AIOS](https://github.com/agiresearch/AIOS).
대규모 언어 모델(LLM) 기반 지능형 에이전트의 통합 및 배포에는 효율성과 효과성을 저해하는 여러 가지 문제가 수반되어 왔습니다. 이러한 문제 중에는 LLM에 대한 에이전트 요청의 최적이 아닌 스케줄링 및 리소스 할당, 에이전트와 LLM 간의 상호 작용 중 컨텍스트 유지의 어려움, 다양한 기능과 전문성을 가진 이기종 에이전트를 통합하는 데 내재된 복잡성 등이 있습니다. 에이전트의 수와 복잡성이 급격히 증가하면서 이러한 문제가 더욱 악화되어 병목 현상과 리소스의 최적 활용이 저해되는 경우가 많습니다. 이러한 과제에서 영감을 받아 이 백서에서는 LLM 에이전트 운영 체제인 AIOS를 소개하는데, 이는 운영 체제(OS)에 Large Language Model을 내장하여 OS의 두뇌 역할을 수행함으로써 AGI를 향한 중요한 단계인 '영혼을 가진' 운영 체제를 구현할 수 있게 해줍니다. 특히 AIOS는 리소스 할당을 최적화하고, 에이전트 간에 컨텍스트 전환을 촉진하고, 에이전트의 동시 실행을 가능하게 하고, 에이전트를 위한 도구 서비스를 제공하고, 에이전트에 대한 액세스 제어를 유지하도록 설계되었습니다. 이 백서에서는 이러한 운영 체제의 아키텍처를 제시하고, 해결하고자 하는 핵심 과제를 개괄적으로 설명하며, AIOS의 기본 설계 및 구현을 제공합니다. 여러 에이전트의 동시 실행에 대한 실험을 통해 AIOS 모듈의 안정성과 효율성을 입증했습니다. 이를 통해 LLM 에이전트의 성능과 효율성을 개선할 뿐만 아니라 향후 AIOS 에코시스템의 더 나은 개발과 배포를 개척하는 것을 목표로 합니다. 이 프로젝트는 [https://github.com/agiresearch/AIOS](https://github.com/agiresearch/AIOS)에서 오픈 소스로 제공됩니다.
대규모 언어 모델(LLM) 기반 지능형 에이전트의 통합 및 배포에는 효율성과 효과성을 저해하는 여러 가지 문제가 수반되어 왔습니다. 이러한 문제 중에는 LLM에 대한 에이전트 요청의 최적이 아닌 스케줄링 및 리소스 할당, 에이전트와 LLM 간의 상호 작용 중 컨텍스트 유지의 어려움, 다양한 기능과 전문성을 가진 이기종 에이전트를 통합하는 데 내재된 복잡성 등이 있습니다. 에이전트의 수와 복잡성이 급격히 증가하면서 이러한 문제가 더욱 악화되어 병목 현상과 리소스의 최적 활용이 저해되는 경우가 많습니다. 이러한 과제에서 영감을 받아 이 백서에서는 LLM 에이전트 운영 체제인 AIOS를 소개하는데, 이는 운영 체제(OS)에 대규모 언어 모델을 내장하여 OS의 두뇌 역할을 수행함으로써 AGI를 향한 중요한 단계인 '영혼을 가진' 운영 체제를 구현할 수 있게 해줍니다. 특히 AIOS는 리소스 할당을 최적화하고, 에이전트 간에 컨텍스트 전환을 촉진하고, 에이전트의 동시 실행을 가능하게 하고, 에이전트를 위한 도구 서비스를 제공하고, 에이전트에 대한 액세스 제어를 유지하도록 설계되었습니다. 이 백서에서는 이러한 운영 체제의 아키텍처를 제시하고, 해결하고자 하는 핵심 과제를 개괄적으로 설명하며, AIOS의 기본 설계 및 구현을 제공합니다. 여러 에이전트의 동시 실행에 대한 실험을 통해 AIOS 모듈의 안정성과 효율성을 입증했습니다. 이를 통해 LLM 에이전트의 성능과 효율성을 개선할 뿐만 아니라 향후 AIOS 에코시스템의 더 나은 개발과 배포를 개척하는 것을 목표로 합니다. 이 프로젝트는 [https://github.com/agiresearch/AIOS](https://github.com/agiresearch/AIOS)에서 오픈 소스로 제공됩니다.