Memory serves as a cornerstone of intelligence, as it enables efficient computations tailored to specific contexts. However, Transformers (Vaswani et al., 2017) and Transformer-based LLMs (Brown et al., 2020; Touvron et al., 2023; Anil et al., 2023; Groeneveld et al., 2024) have a constrained context-dependent memory, due to the nature of the attention mechanism. The attention mechanism in Transformers exhibits quadratic complexity in both memory footprint and computation time. For example, the attention Key-Value (KV) states have 3TB memory footprint for a 500B model with batch size 512 and context length 2048 (Pope et al., 2023). Indeed, scaling LLMs to longer sequences (i.e. 1M tokens) is challenging with the standard Transformer architectures and serving longer and longer context models becomes costly financially.
메모리는 특정 상황에 맞는 효율적인 계산을 가능하게 하여 지능의 초석 역할을 합니다. 그러나 Transformers (Vaswani et al., 2017)와 Transformer 기반 LLMs (Brown et al., 2020; Touvron et al., 2023; Anil et al., 2023; Groeneveld et al., 2024)은 attention 메커니즘의 특성으로 인해 컨텍스트에 따른 메모리가 제한되어 있습니다. Transformers의 attention 메커니즘은 메모리 사용량과 계산 시간 모두에서 이차적인 복잡성을 나타냅니다. 예를 들어, attention Key-Value (KV) 상태의 경우 배치 크기 512, 컨텍스트 길이 2048인 500B 모델의 메모리 사용량은 3TB에 달합니다(Pope et al., 2023). 실제로 표준 Transformer 아키텍처로 LLMs을 더 긴 시퀀스(예: 1M 토큰)로 확장하는 것은 어렵고, 점점 더 긴 컨텍스트 모델을 제공하는 데는 비용이 많이 듭니다.
메모리는 특정 상황에 맞는 효율적인 계산을 가능하게 하여 지능의 초석 역할을 합니다. 그러나 트랜스포머(Vaswani et al., 2017)와 트랜스포머 기반 LLM(Brown et al., 2020; Touvron et al., 2023; Anil et al., 2023; Groeneveld et al., 2024)은 주의 메커니즘의 특성으로 인해 컨텍스트에 따른 메모리가 제한되어 있습니다. 트랜스포머의 주의 메커니즘은 메모리 사용량과 계산 시간 모두에서 이차적인 복잡성을 나타냅니다. 예를 들어, 주의 키-값(KV) 상태의 경우 배치 크기 512, 컨텍스트 길이 2048인 500B 모델의 메모리 사용량은 3TB에 달합니다(Pope et al., 2023). 실제로 표준 트랜스포머 아키텍처로 LLM을 더 긴 시퀀스(예: 1M 토큰)로 확장하는 것은 어렵고, 점점 더 긴 컨텍스트 모델을 제공하는 데는 비용이 많이 듭니다.