AIOS provides the snapshot and restoration mechanisms in the context manager to address this issue, which can be seen from Figure 4. We use the beam search process9, a typical practice in LLMs [10; 57; 58], to illustrate the generative decoding process. For simplicity of illustration, we set beam width as 1. Specifically, consider the agent request as: _Determine whether there will be a rain in the destination of flight UA057_. At each step, the LLM evaluates multiple potential candidates, with the most promising paths kept for further expansion based on the predefined beam width.
AIOS는 이 문제를 해결하기 위해 컨텍스트 관리자에서 스냅샷 및 복원 메커니즘을 제공하며, 이는 그림 4에서 확인할 수 있습니다. 우리는 생성 decoding 프로세스를 설명하기 위해 LLM[10; 57; 58]의 일반적인 관행인 beam search 프로세스를 사용합니다. 설명의 단순화를 위해 beam width를 1로 설정합니다. 특히 에이전트 요청을 다음과 같이 설정합니다: _UA057 항공편의 목적지에 비가 올지 여부를 결정합니다_. 각 단계에서 LLM은 여러 잠재적 후보를 평가하며, 미리 정의된 beam width에 따라 가장 유망한 경로를 추가 확장을 위해 유지합니다.
AIOS는 이 문제를 해결하기 위해 컨텍스트 관리자에서 스냅샷 및 복원 메커니즘을 제공하며, 이는 그림 4에서 확인할 수 있습니다. 우리는 생성 디코딩 프로세스를 설명하기 위해 LLM[10; 57; 58]의 일반적인 관행인 빔 검색 프로세스9를 사용합니다. 설명의 단순화를 위해 빔 너비를 1로 설정합니다. 특히 에이전트 요청을 다음과 같이 설정합니다: _UA057 항공편의 목적지에 비가 올지 여부를 결정합니다_. 각 단계에서 LLM은 여러 잠재적 후보를 평가하며, 미리 정의된 빔 너비에 따라 가장 유망한 경로를 추가 확장을 위해 유지합니다.