Our Infini-attention reuses all the key, value and query states of the standard attention computation for long-term memory consolidation and retrieval. We store old KV states of the attention in the compressive memory, instead of discarding them like in the standard attention mechanism. We then retrieve the values from the memory by using the attention query states when processing subsequent sequences. To compute the final contextual output, the Infini-attention aggregates the long-term memory-retrieved values and the local attention contexts.
우리의 Infini-attention은 장기 기억 통합 및 검색을 위해 표준 attention 계산의 모든 key, value 및 query 상태를 재사용합니다. 표준 attention 메커니즘에서처럼 오래된 attention의 KV 상태를 버리는 대신 compressive memory에 저장합니다. 그런 다음 후속 시퀀스를 처리할 때 attention query 상태를 사용하여 메모리에서 값을 검색합니다. 최종 컨텍스트 출력을 계산하기 위해 Infini-attention은 장기 메모리 검색 값과 로컬 attention 컨텍스트를 집계합니다.
우리의 Infini-attention은 장기 기억 통합 및 검색을 위해 표준 주의 계산의 모든 핵심, 값 및 쿼리 상태를 재사용합니다. 표준 주의 메커니즘에서처럼 오래된 주의도의 KV 상태를 버리는 대신 압축 메모리에 저장합니다. 그런 다음 후속 시퀀스를 처리할 때 주의 쿼리 상태를 사용하여 메모리에서 값을 검색합니다. 최종 컨텍스트 출력을 계산하기 위해 Infini-attention은 장기 메모리 검색 값과 로컬 주의 컨텍스트를 집계합니다.