\(\bullet\)_Reducing data transfer_ mainly focuses on optimizing GPU memory access, thereby increasing the arithmetic intensity. As introduced in Section 4.2.2, KV cache can avoid redundant computation of previous tokens and PagedAttention allocates KV caches into continuous blocks to reduce memory fragmentation. Furthermore, Flash-Decoding [322] speeds up attention computation by loading the keys and values in parallel, especially effective for long text generation. As another alternative approach, multi-query and grouped-query attention can reduce the GPU memory bandwidth overhead by sharing KV parameters (loading fewer weights).
\(\bullet\)_Reducing data transfer_는 주로 GPU 메모리 액세스를 최적화하여 산술 강도를 높이는 데 중점을 둡니다. 섹션 4.2.2에서 소개한 바와 같이, KV cache는 이전 토큰의 중복 계산을 피할 수 있으며, PagedAttention은 메모리 조각화를 줄이기 위해 KV cache를 연속 블록에 할당합니다. 또한, Flash-Decoding[322]은 keys와 values를 병렬로 로드하여 attention 계산 속도를 높여주며, 특히 긴 텍스트 생성에 효과적입니다. 또 다른 대안 접근 방식으로, multi-query 및 grouped-query attention은 KV parameters를 공유하여(더 적은 weights 로드) GPU 메모리 대역폭 오버헤드를 줄일 수 있습니다.
\(\bullet\)_데이터 전송 감소_는 주로 GPU 메모리 액세스를 최적화하여 산술 강도를 높이는 데 중점을 둡니다. 섹션 4.2.2에서 소개한 바와 같이, KV 캐시는 이전 토큰의 중복 계산을 피할 수 있으며, 페이지드 어텐션은 메모리 조각화를 줄이기 위해 KV 캐시를 연속 블록에 할당합니다. 또한, 플래시 디코딩[322]은 키와 값을 병렬로 로드하여 주의 계산 속도를 높여주며, 특히 긴 텍스트 생성에 효과적입니다. 또 다른 대안 접근 방식으로, 다중 쿼리 및 그룹화된 쿼리 주의는 KV 파라미터를 공유하여(더 적은 가중치 로드) GPU 메모리 대역폭 오버헤드를 줄일 수 있습니다.