In Infini-attention, instead of computing new memory entries for compressive memory, we reuse the query, key and value states (\(Q\), \(K\) and \(V\)) from the dot-product attention computation. The state sharing and reusing between the dot-product attention and compressive memory not only enables efficient plug-in-play long-context adaptation but also speeds up training and inference. Similar to the prior work (Munkhdalai et al., 2019), our goal is to store bindings of key and value states in the compressive memory and retrieve by using the query vectors.
인피니-attention에서는 압축 메모리를 위한 새로운 메모리 항목을 계산하는 대신 dot-product attention 계산에서 query, key 및 value 상태(\(Q\), \(K\) 및 \(V\))를 재사용합니다. dot-product attention과 압축 메모리 간의 상태 공유 및 재사용은 효율적인 plug-in-play 장시간 컨텍스트 적응을 가능하게 할 뿐만 아니라 훈련과 추론 속도도 높여줍니다. 이전 작업(Munkhdalai et al., 2019)과 마찬가지로, 우리의 목표는 압축 메모리에 key와 value 상태의 바인딩을 저장하고 query 벡터를 사용하여 검색하는 것입니다.
인피니 어텐션에서는 압축 메모리를 위한 새로운 메모리 항목을 계산하는 대신 도트 프로덕트 어텐션 계산에서 쿼리, 키 및 값 상태(\(Q\), \(K\) 및 \(V\))를 재사용합니다. 도트 프로덕트 어텐션과 압축 메모리 간의 상태 공유 및 재사용은 효율적인 플러그인 플레이 장시간 컨텍스트 적응을 가능하게 할 뿐만 아니라 훈련과 추론 속도도 높여줍니다. 이전 작업(Munkhdalai et al., 2019)과 마찬가지로, 우리의 목표는 압축 메모리에 키와 값 상태의 바인딩을 저장하고 쿼리 벡터를 사용하여 검색하는 것입니다.