Accompanied by the exponential growth in the agent quantity and complexity, there is an increasing strain on the functionalities of LLM and OS. For example, scheduling and prioritizing agent requests in limited LLM resources poses a significant challenge. Moreover, the LLM's generation process can become time-intensive when dealing with lengthy contexts, occasionally resulting in the generation being suspended by the scheduler. This raises the problem of devising a mechanism to snapshot the LLM's current generation result, thereby enabling pause/resume behavior even when the LLM has not finalized the response generation for the current request. Furthermore, once an agent has obtained the list of available calling tools, determining the optimal sequence for invoking these tools presents yet another challenge since multiple agents may need to call the same tool. Additionally, the concurrent operation of multiple agents necessitates a robust system for memory management across different agents, while also ensuring stringent enforcement of privacy and access control measures.
에이전트 수와 복잡성이 기하급수적으로 증가함에 따라 LLM과 OS의 기능에 대한 부담이 점점 더 커지고 있습니다. 예를 들어, 제한된 LLM 리소스에서 에이전트 요청을 스케줄링하고 우선순위를 지정하는 것은 상당한 어려움을 초래합니다. 또한 LLM의 generation 프로세스는 긴 컨텍스트를 처리할 때 시간이 많이 소요될 수 있으며, 이로 인해 스케줄러에 의해 generation이 중지되는 경우가 있습니다. 따라서 LLM이 현재 요청에 대한 응답 생성을 완료하지 않은 경우에도 일시 중지/재개 동작을 수행할 수 있도록 LLM의 현재 generation 결과를 스냅샷하는 메커니즘을 고안해야 하는 문제가 제기됩니다. 또한 에이전트가 사용 가능한 호출 도구 목록을 확보한 후에는 여러 에이전트가 동일한 도구를 호출해야 할 수 있으므로 이러한 도구를 호출하기 위한 최적의 순서를 결정하는 것도 또 다른 과제입니다. 또한 여러 에이전트를 동시에 운영하려면 에이전트 간에 메모리를 효율적으로 관리하는 동시에 개인정보 보호 및 액세스 제어 조치를 철저히 시행할 수 있는 강력한 시스템이 필요합니다.
에이전트 수와 복잡성이 기하급수적으로 증가함에 따라 LLM과 OS의 기능에 대한 부담이 점점 더 커지고 있습니다. 예를 들어, 제한된 LLM 리소스에서 에이전트 요청을 스케줄링하고 우선순위를 지정하는 것은 상당한 어려움을 초래합니다. 또한 LLM의 생성 프로세스는 긴 컨텍스트를 처리할 때 시간이 많이 소요될 수 있으며, 이로 인해 스케줄러에 의해 생성이 중지되는 경우가 있습니다. 따라서 LLM이 현재 요청에 대한 응답 생성을 완료하지 않은 경우에도 일시 중지/재개 동작을 수행할 수 있도록 LLM의 현재 생성 결과를 스냅샷하는 메커니즘을 고안해야 하는 문제가 제기됩니다. 또한 에이전트가 사용 가능한 호출 도구 목록을 확보한 후에는 여러 에이전트가 동일한 도구를 호출해야 할 수 있으므로 이러한 도구를 호출하기 위한 최적의 순서를 결정하는 것도 또 다른 과제입니다. 또한 여러 에이전트를 동시에 운영하려면 에이전트 간에 메모리를 효율적으로 관리하는 동시에 개인정보 보호 및 액세스 제어 조치를 철저히 시행할 수 있는 강력한 시스템이 필요합니다.