Figure 1: Infini-attention has an additional compressive memory with linear attention for processing infinitely long contexts. \(\{KV\}_{s-1}\) and \(\{KV\}_{s}\) are attention key and values for current and previous input segments, respectively and \(Q_{s}\) the attention queries. PE denotes position embeddings.
그림 1: Infini-attention은 무한히 긴 컨텍스트를 처리하기 위해 linear attention을 사용하는 추가 압축 메모리를 가지고 있습니다. \(\{KV\}_{s-1}\) 및 \(\{KV\}_{s}\)는 각각 현재 및 이전 입력 세그먼트에 대한 attention key 및 값이고, \(Q_{s}\)는 attention queries입니다. PE는 position embeddings를 나타냅니다.
그림 1: 인피니 어텐션은 무한히 긴 컨텍스트를 처리하기 위해 선형 어텐션을 사용하는 추가 압축 메모리를 가지고 있습니다. \(\{KV\}_{s-1}\) 및 \(\{KV\}_{s}\)는 각각 현재 및 이전 입력 세그먼트에 대한 주의 키 및 값이고, \(Q_{s}\)는 주의 쿼리입니다. PE는 위치 임베딩을 나타냅니다.