1. We introduce a practical and yet powerful attention mechanism - Infini-attention with long-term compressive memory and local causal attention for efficiently modeling both long and short-range contextual dependencies. 2. Infini-attention introduces minimal change to the standard scaled dot-product attention and supports plug-and-play continual pre-training and long-context adaptation by design. 3. Our approach enables Transformer LLMs to scale to infinitely long context with a bounded memory and compute resource by processing extremely long inputs in a streaming fashion.
1. 장단거리 컨텍스트 종속성을 효율적으로 모델링하기 위해 장기 압축 메모리와 로컬 인과적 attention을 갖춘 실용적이면서도 강력한 attention 메커니즘인 Infini-attention을 소개합니다. 2. Infini-attention은 표준 scaled dot-product attention에 최소한의 변경을 도입하며, 설계상 plug-and-play continual pre-training과 long-context adaptation을 지원합니다. 3. 이 접근 방식을 통해 Transformer LLM은 매우 긴 입력을 스트리밍 방식으로 처리하여 경계가 정해진 메모리와 컴퓨팅 리소스로 무한히 긴 컨텍스트로 확장할 수 있습니다.
1. 장단거리 컨텍스트 종속성을 효율적으로 모델링하기 위해 장기 압축 메모리와 로컬 인과적 주의력을 갖춘 실용적이면서도 강력한 주의 메커니즘인 인피니 어텐션을 소개합니다. 2. 인피니 어텐션은 표준 스케일링된 점-제품 어텐션에 최소한의 변경을 도입하며, 설계상 플러그 앤 플레이 연속 사전 학습과 장문맥 적응을 지원합니다. 3. 이 접근 방식을 통해 트랜스포머 LLM은 매우 긴 입력을 스트리밍 방식으로 처리하여 경계가 정해진 메모리와 컴퓨팅 리소스로 무한히 긴 컨텍스트로 확장할 수 있습니다.