In this work, we introduce a novel approach that enables Transformer LLMs to effectively process infinitely long inputs with bounded memory footprint and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention (Figure 1). The Infini-attention incorporates a compressive memory into the vanilla attention mechanism (Bahdanau et al., 2014; Vaswani et al., 2017) and builds in both masked local attention and long-term linear attention mechanisms in a single Transformer block.
이 연구에서는 Transformer LLM이 경계가 있는 메모리 사용량과 계산으로 무한히 긴 입력을 효과적으로 처리할 수 있는 새로운 접근 방식을 소개합니다. 제안된 접근 방식의 핵심 구성 요소는 Infini-attention(그림 1)이라고 불리는 새로운 attention 기법입니다. Infini-attention은 일반 attention 메커니즘(Bahdanau et al., 2014; Vaswani et al., 2017)에 압축 메모리를 통합하고 마스킹된 로컬 attention과 장기 linear attention 메커니즘을 단일 Transformer 블록에 모두 구축합니다.
이 연구에서는 트랜스포머 LLM이 경계가 있는 메모리 사용량과 계산으로 무한히 긴 입력을 효과적으로 처리할 수 있는 새로운 접근 방식을 소개합니다. 제안된 접근 방식의 핵심 구성 요소는 인피니 어텐션(그림 1)이라고 불리는 새로운 주의 기법입니다. 인피니 어텐션은 일반 어텐션 메커니즘(Bahdanau et al., 2014; Vaswani et al., 2017)에 압축 메모리를 통합하고 마스킹된 로컬 어텐션과 장기 선형 어텐션 메커니즘을 단일 트랜스포머 블록에 모두 구축합니다.