This work introduces an efficient method to scale Transformer-based Large Language Models (LLMs) to infinitely long inputs with bounded memory and computation. A key component in our proposed approach is a new attention technique dubbed Infini-attention. The Infini-attention incorporates a compressive memory into the vanilla attention mechanism and builds in both masked local attention and long-term linear attention mechanisms in a single Transformer block. We demonstrate the effectiveness of our approach on long-context language modeling benchmarks, 1M sequence length passively context block retrieval and 500K length book summarization tasks with 1B and 8B LLMs. Our approach introduces minimal bounded memory parameters and enables fast streaming inference for LLMs.
이 작업에서는 Transformer 기반 Large Language Models (LLMs)을 경계가 있는 메모리와 계산으로 무한히 긴 입력으로 확장하는 효율적인 방법을 소개합니다. 제안된 접근 방식의 핵심 구성 요소는 Infini-attention이라고 불리는 새로운 attention 기법입니다. Infini-attention은 기존의 attention 메커니즘에 압축 메모리를 통합하고 마스크된 로컬 attention과 장기 linear attention 메커니즘을 단일 Transformer 블록에 모두 구축합니다. 저희는 1M 시퀀스 길이 패시브 컨텍스트 블록 검색 및 500K 길이 책 요약 작업에서 1B 및 8B LLM을 사용하여 긴 컨텍스트 언어 모델링 벤치마크에서 접근 방식의 효과를 입증했습니다. 이 접근 방식은 최소한의 경계 메모리 매개변수를 도입하고 LLM에 대한 빠른 스트리밍 추론을 가능하게 합니다.
이 작업에서는 트랜스포머 기반 LLM(대규모 언어 모델)을 경계가 있는 메모리와 계산으로 무한히 긴 입력으로 확장하는 효율적인 방법을 소개합니다. 제안된 접근 방식의 핵심 구성 요소는 인피니 어텐션이라고 불리는 새로운 주의 기법입니다. 인피니 어텐션은 기존의 어텐션 메커니즘에 압축 메모리를 통합하고 마스크된 로컬 어텐션과 장기 선형 어텐션 메커니즘을 단일 트랜스포머 블록에 모두 구축합니다. 저희는 1M 시퀀스 길이 패시브 컨텍스트 블록 검색 및 500K 길이 책 요약 작업에서 10억 및 80억 LLM을 사용하여 긴 컨텍스트 언어 모델링 벤치마크에서 접근 방식의 효과를 입증했습니다. 이 접근 방식은 최소한의 경계 메모리 매개변수를 도입하고 LLM에 대한 빠른 스트리밍 추론을 가능하게 합니다.