\(\bullet\)_PagedAttention_. It has been observed when LLM are deployed on servers, GPU memory is largely occupied by cached attention key and value tensors (called _KV cache_). The major reason is that the input lengths are often varied, leading to fragmentation and over-reservation issues. Inspired by the classic paging technique in operating systems, PagedAttention has been proposed to improve the memory efficiency and throughput of deployed LLMs [285]. In detail, PagedAttention partitions each sequence into subsequences, and the corresponding KV caches of these subsequences are allocated into non-contiguous physical blocks. The paging technique increases the GPU utilization and enables efficient memory sharing in parallel sampling.
\(\bullet\)_PagedAttention_. LLM이 서버에 배포될 때 GPU 메모리는 캐시된 attention key 및 value 텐서(KV cache라고 함)에 의해 대부분 차지하는 것으로 관찰되었습니다. 주요 이유는 입력 길이가 다양하기 때문에 조각화 및 과잉 예약 문제가 발생하기 때문입니다. 운영 체제의 고전적인 paging 기술에서 영감을 받아 배포된 LLM의 메모리 효율성과 처리량을 개선하기 위해 PagedAttention이 제안되었습니다[285]. 자세히 설명하면, PagedAttention은 각 시퀀스를 subsequence로 분할하고, 이 subsequence에 해당하는 KV cache를 비접속 물리적 블록에 할당합니다. paging 기술은 GPU 사용률을 높이고 병렬 샘플링에서 효율적인 메모리 공유를 가능하게 합니다.
\(\bullet\)_PagedAttention_. LLM이 서버에 배포될 때 GPU 메모리는 캐시된 주의 키 및 값 텐서(KV 캐시_라고 함)에 의해 대부분 차지하는 것으로 관찰되었습니다. 주요 이유는 입력 길이가 다양하기 때문에 조각화 및 과잉 예약 문제가 발생하기 때문입니다. 운영 체제의 고전적인 페이지 매기기 기술에서 영감을 받아 배포된 LLM의 메모리 효율성과 처리량을 개선하기 위해 페이지드 어텐션이 제안되었습니다[285]. 자세히 설명하면, 페이지드 어텐션은 각 시퀀스를 시퀀스로 분할하고, 이 시퀀스에 해당하는 KV 캐시를 비접속 물리적 블록에 할당합니다. 페이지 매기기 기술은 GPU 사용률을 높이고 병렬 샘플링에서 효율적인 메모리 공유를 가능하게 합니다.