Due to their autoregressive architecture, LLMs typically have slow inference speeds. However, the agent may need to query LLMs for each action multiple times, such as extracting information from memory, make plans before taking actions and so on. Consequently, the efficiency of agent actions is greatly affected by the speed of LLM inference.
자기회귀 아키텍처로 인해, LLMs는 일반적으로 추론 속도가 느립니다. 그러나 에이전트는 각 행동에 대해 여러 번 LLMs에 질의할 필요가 있을 수 있습니다. 예를 들어, 메모리에서 정보를 추출하거나 행동을 취하기 전에 계획을 세우는 등의 경우입니다. 따라서 에이전트 행동의 효율성은 LLM 추론 속도에 크게 영향을 받습니다.
자동 회귀 아키텍처로 인해 LLM은 일반적으로 추론 속도가 느립니다. 그러나 에이전트는 메모리에서 정보를 추출하거나, 행동을 취하기 전에 계획을 세우는 등의 작업을 수행하는 등 각 작업에 대해 여러 번 LLM에 쿼리해야 할 수도 있습니다. 따라서 에이전트 액션의 효율성은 LLM 추론 속도에 큰 영향을 받습니다.