An effective memory system is crucial not just for comprehending long contexts with LLMs, but also for reasoning, planning, continual adaptation for fresh knowledge, and even for learning how to learn. This work introduces a close integration of compressive memory module into the vanilla dot-product attention layer. This subtle but critical modification to the attention layer enables LLMs to process infinitely long contexts with bounded memory and computation resources. We show that our approach can naturally scale to a million length regime of input sequences, while outperforming the baselines on long-context language modeling benchmark and book summarization tasks. We also demonstrate a promising length generalization capability of our approach. 1B model that was fine-tuned on up to 5K sequence length passkey instances solved the 1M length problem.
효과적인 메모리 시스템은 LLM으로 긴 컨텍스트를 이해하는 데뿐만 아니라 추론, 계획, 새로운 지식에 대한 지속적인 적응, 심지어 학습 방법을 배우는 데에도 매우 중요합니다. 이 작업에서는 압축 메모리 모듈을 기존의 dot-product attention 계층에 밀접하게 통합하는 것을 소개합니다. attention 계층에 이러한 미묘하지만 중요한 수정을 적용하면 LLM이 경계가 있는 메모리와 계산 리소스로 무한히 긴 컨텍스트를 처리할 수 있습니다. 이 접근 방식은 baseline보다 긴 문맥 언어 모델링 벤치마크와 도서 요약 작업에서 더 나은 성능을 발휘하면서 입력 시퀀스의 길이가 백만 개까지 자연스럽게 확장할 수 있음을 보여줍니다. 또한 이 접근 방식의 유망한 길이 일반화 기능도 입증했습니다. 최대 5K 시퀀스 길이의 패스키 인스턴스에 대해 Fine-tuning된 1B 모델은 1M 길이의 문제를 해결했습니다.
효과적인 메모리 시스템은 LLM으로 긴 컨텍스트를 이해하는 데뿐만 아니라 추론, 계획, 새로운 지식에 대한 지속적인 적응, 심지어 학습 방법을 배우는 데에도 매우 중요합니다. 이 작업에서는 압축 메모리 모듈을 기존의 도트 프로덕트 주의 계층에 밀접하게 통합하는 것을 소개합니다. 주의 계층에 이러한 미묘하지만 중요한 수정을 적용하면 LLM이 경계가 있는 메모리와 계산 리소스로 무한히 긴 컨텍스트를 처리할 수 있습니다. 이 접근 방식은 기본 라인보다 긴 문맥 언어 모델링 벤치마크와 도서 요약 작업에서 더 나은 성능을 발휘하면서 입력 시퀀스의 길이가 백만 개까지 자연스럽게 확장할 수 있음을 보여줍니다. 또한 이 접근 방식의 유망한 길이 일반화 기능도 입증했습니다. 최대 5K 시퀀스 길이의 패스키 인스턴스에 대해 미세 조정된 10억 개 모델은 100만 개 길이의 문제를 해결했습니다.