Our experiments are conducted in Python 3.9 with PyTorch 2.0.1 and CUDA 11.8 on an Ubuntu 22.04 machine equipped with 8 NVIDIA RTX A5000 GPUs. We employ the publicly available LLMs (i.e., Gemma-2b-it and Gemma-7b-it [66], LLaMA-2-13b-chat-hf [10]) as the backbone of AIOS. This selection is driven by the advantage of local deployment of open-sourced models, which aids in the accurate measurement of time latency. For the evaluation, we configure three specialized agents: a Math Agent for solving mathematical challenges, a Narrative Agent for generating novel narratives, and a Rec Agent tasked with providing restaurant recommendations. Each agent is designed to send 2 to 3 requests to the backbone LLM during running.
우리의 실험은 8개의 NVIDIA RTX A5000 GPU가 장착된 Ubuntu 22.04 컴퓨터에서 PyTorch 2.0.1 및 CUDA 11.8과 함께 Python 3.9로 수행됩니다. 공개적으로 사용 가능한 LLM(예: Gemma-2b-it 및 Gemma-7b-it [66], LLaMA-2-13b-chat-hf [10])을 AIOS의 백본으로 사용합니다. 이 선택은 오픈 소스 모델의 로컬 배포 이점에 기반한 것으로, 시간 지연 시간을 정확하게 측정하는 데 도움이 됩니다. 평가를 위해 수학적 과제를 해결하는 Math Agent, 새로운 내러티브를 생성하는 Narrative Agent, 레스토랑 추천을 제공하는 Rec Agent 등 세 가지 전문 에이전트를 구성합니다. 각 에이전트는 실행 중에 백본 LLM에 2~3개의 요청을 보내도록 설계되었습니다.
우리의 실험은 8개의 NVIDIA RTX A5000 GPU가 장착된 Ubuntu 22.04 컴퓨터에서 PyTorch 2.0.1 및 CUDA 11.8과 함께 Python 3.9로 수행됩니다. 공개적으로 사용 가능한 LLM(예: Gemma-2b-it 및 Gemma-7b-it [66], LLaMA-2-13b-chat-hf [10])을 AIOS의 백본으로 사용합니다. 이 선택은 오픈 소스 모델의 로컬 배포 이점에 기반한 것으로, 시간 지연 시간을 정확하게 측정하는 데 도움이 됩니다. 평가를 위해 수학적 과제를 해결하는 수학 에이전트, 새로운 내러티브를 생성하는 내러티브 에이전트, 레스토랑 추천을 제공하는 Rec 에이전트 등 세 가지 전문 에이전트를 구성합니다. 각 에이전트는 실행 중에 백본 LLM에 2~3개의 요청을 보내도록 설계되었습니다.