To address the above mentioned challenges, we propose AIOS, an LLM agent operating system (Figure 2) to provide module isolation and aggregations of LLM and OS functionalities. To address the potential conflicts arising between tasks associated with LLM and those unrelated to LLM, we propose the design of an LLM-specific kernel. This kernel segregates the OS-like duties, particularly those related to the oversight of LLM agents, their corresponding resources, and development tool-kits. Through this segregation, the LLM kernel aims to enhance the management and coordination of LLM-related activities. Within the proposed LLM kernel, we have devised a suite of modules, each dedicated to addressing the distinct functions pertinent to LLM operations. An overview of these modules and their respective functionalities is presented in the following, with the comprehensive discussion of their underlying mechanisms detailed in Section 4.
위에서 언급한 문제를 해결하기 위해 LLM 에이전트 운영 체제(그림 2)인 AIOS를 제안하여 모듈 격리 및 LLM 및 OS 기능의 집계를 제공합니다. LLM과 관련된 작업과 LLM과 관련 없는 작업 간에 발생할 수 있는 잠재적 충돌을 해결하기 위해 LLM-specific kernel 설계를 제안합니다. 이 kernel은 LLM 에이전트, 해당 리소스 및 개발 툴킷의 감독과 관련된 OS와 같은 업무, 특히 LLM 에이전트를 분리합니다. 이러한 분리를 통해 LLM kernel은 LLM 관련 활동의 관리와 조정을 강화하는 것을 목표로 합니다. 제안된 LLM kernel 내에서 우리는 LLM 운영과 관련된 고유한 기능을 해결하기 위해 각각 전담하는 모듈 제품군을 고안했습니다. 이러한 모듈의 개요와 각 모듈의 기능에 대한 개요는 다음에 나와 있으며, 그 기본 메커니즘에 대한 자세한 논의는 섹션 4에 나와 있습니다.
위에서 언급한 문제를 해결하기 위해 LLM 에이전트 운영 체제(그림 2)인 AIOS를 제안하여 모듈 격리 및 LLM 및 OS 기능의 집계를 제공합니다. LLM과 관련된 작업과 LLM과 관련 없는 작업 간에 발생할 수 있는 잠재적 충돌을 해결하기 위해 LLM 전용 커널 설계를 제안합니다. 이 커널은 LLM 에이전트, 해당 리소스 및 개발 툴킷의 감독과 관련된 OS와 같은 업무, 특히 LLM 에이전트를 분리합니다. 이러한 분리를 통해 LLM 커널은 LLM 관련 활동의 관리와 조정을 강화하는 것을 목표로 합니다. 제안된 LLM 커널 내에서 우리는 LLM 운영과 관련된 고유한 기능을 해결하기 위해 각각 전담하는 모듈 제품군을 고안했습니다. 이러한 모듈의 개요와 각 모듈의 기능에 대한 개요는 다음에 나와 있으며, 그 기본 메커니즘에 대한 자세한 논의는 섹션 4에 나와 있습니다.