Performance Analysis.To answer the efficiency question, we conduct a comparative analysis between AIOS employing FIFO scheduling and a non-scheduled approach, wherein the aforementioned three agents run concurrently. In the non-scheduled setting, the three agents are executed following a predefined sequential order: Math Agent, Narrative Agent, and Rec Agent. We employ two metrics for assessing temporal efficiency: waiting time (the interval from agent request submission to commencement) and turnaround time (the duration from agent request submission to completion). As each agent will send multiple requests to the LLM, the waiting time and turnaround time of each agent are calculated as the average of waiting time and turnaround time of all its sent requests, respectively. To mitigate randomness, we execute these three agents, both with and without scheduling, in five separate trials to report the results. As shown in Table 5, the non-scheduled approach exhibits good performance for agents earlier in the sequence, but at the expense of extended waiting time and turnaround time for agents later in the sequence. Conversely, AIOS's scheduling mechanism efficiently regulates both waiting time and turnaround time, a benefit that becomes particularly evident for agent requests submitted later by agents, especially when LLM is large. This suggests the importance of our scheduling to accommodate parallel operations of multiple agents.
성능 분석. 효율성 질문에 답하기 위해 FIFO 스케줄링을 사용하는 AIOS와 앞서 언급한 세 가지 에이전트가 동시에 실행되는 비스케줄 방식 간의 비교 분석을 수행합니다. 비스케줄 방식에서는 Math Agent, Narrative Agent, Rec Agent의 사전 정의된 순서에 따라 세 가지 에이전트가 실행됩니다. 시간적 효율성을 평가하기 위해 두 가지 메트릭을 사용합니다: 대기 시간(에이전트 요청 제출부터 시작까지의 간격)과 처리 시간(에이전트 요청 제출부터 완료까지의 시간)입니다. 각 에이전트는 LLM에 여러 개의 요청을 보내므로 각 에이전트의 대기 시간과 처리 시간은 각각 전송된 모든 요청의 대기 시간과 처리 시간의 평균으로 계산됩니다. 무작위성을 완화하기 위해 이 세 가지 에이전트를 스케줄링을 하거나 하지 않은 상태로 5번의 별도 실험을 통해 결과를 보고합니다. 표 5에서 볼 수 있듯이, 비스케줄 방식은 순서가 빠른 에이전트의 경우 좋은 성능을 보이지만, 순서가 늦은 에이전트의 경우 대기 시간과 처리 시간이 길어지는 단점이 있습니다. 반대로, AIOS의 스케줄링 메커니즘은 대기 시간과 처리 시간을 효율적으로 조절하며, 이는 특히 LLM이 큰 경우 에이전트가 나중에 제출하는 에이전트 요청에 대해 더욱 분명하게 드러납니다. 이는 여러 에이전트의 병렬 작업을 수용하기 위한 스케줄링의 중요성을 시사합니다.
성능 분석.효율성 질문에 답하기 위해 FIFO 스케줄링을 사용하는 AIOS와 앞서 언급한 세 가지 에이전트가 동시에 실행되는 비스케줄 방식 간의 비교 분석을 수행합니다. 비스케줄 방식에서는 수학 에이전트, 내러티브 에이전트, 리크 에이전트의 사전 정의된 순서에 따라 세 가지 에이전트가 실행됩니다. 시간적 효율성을 평가하기 위해 두 가지 메트릭을 사용합니다: 대기 시간(에이전트 요청 제출부터 시작까지의 간격)과 처리 시간(에이전트 요청 제출부터 완료까지의 시간)입니다. 각 에이전트는 LLM에 여러 개의 요청을 보내므로 각 에이전트의 대기 시간과 처리 시간은 각각 전송된 모든 요청의 대기 시간과 처리 시간의 평균으로 계산됩니다. 무작위성을 완화하기 위해 이 세 가지 에이전트를 스케줄링을 하거나 하지 않은 상태로 5번의 별도 실험을 통해 결과를 보고합니다. 표 5에서 볼 수 있듯이, 비스케줄 방식은 순서가 빠른 에이전트의 경우 좋은 성능을 보이지만, 순서가 늦은 에이전트의 경우 대기 시간과 처리 시간이 길어지는 단점이 있습니다. 반대로, AIOS의 스케줄링 메커니즘은 대기 시간과 처리 시간을 효율적으로 조절하며, 이는 특히 LLM이 큰 경우 에이전트가 나중에 제출하는 에이전트 요청에 대해 더욱 분명하게 드러납니다. 이는 여러 에이전트의 병렬 작업을 수용하기 위한 스케줄링의 중요성을 시사합니다.