In our experiments, we show that our approach outperforms baseline models on long-context language modeling benchmarks while having 114x comprehension ratio in terms of memory size. The model achieves even better perplexity when trained with 100K sequence length. A 1B LLM naturally scales to 1M sequence length and solves the pasaskey retrieval task when injected with Infini-attention. Finally, we show that a 8B model with Infini-attention reaches a new SOTA result on a 500K length book summarization task after continual pre-training and task fine-tuning.
실험을 통해 메모리 크기 측면에서 114배의 이해 비율을 가지면서 기존 모델보다 긴 컨텍스트 언어 모델링 벤치마크에서 더 나은 성능을 발휘한다는 것을 보여 줍니다. 이 모델은 100K sequence length로 훈련하면 더 나은 perplexity를 달성합니다. 1B LLM은 1M sequence length로 자연스럽게 확장되며, Infini-attention을 주입하면 pasaskey retrieval 작업을 해결합니다. 마지막으로, 8B 모델이 Infini-attention을 사용하여 지속적인 사전 학습과 작업 Fine-tuning을 거친 후 500K 길이의 책 요약 작업에서 새로운 SOTA 결과에 도달한다는 것을 보여 줍니다.
실험을 통해 메모리 크기 측면에서 114배의 이해 비율을 가지면서 기존 모델보다 긴 컨텍스트 언어 모델링 벤치마크에서 더 나은 성능을 발휘한다는 것을 보여 줍니다. 이 모델은 10만 개의 시퀀스 길이로 훈련하면 더 나은 당혹감을 달성합니다. 10억 개의 LLM은 100만 개의 시퀀스 길이로 자연스럽게 확장되며, 인피니 어텐션을 주입하면 파사키 검색 작업을 해결합니다. 마지막으로, 80억 개의 모델이 인피니 어텐션을 사용하여 지속적인 사전 학습과 작업 미세 조정을 거친 후 50만 길이의 책 요약 작업에서 새로운 SOTA 결과에 도달한다는 것을 보여 줍니다.