The local attention (Dai et al., 2019), however, discards the attention states of the previous segment when processing the next one. In Infini-Transformers, instead of leaving out the old KV attention states, we propose to reuse them to maintain the entire context history with a compressive memory. So each attention layer of Infini-Transformers has both global compressive and local fine-grained states. We call such an efficient attention mechanism Infini-attention, which is illustrated in Figure 1 and described formally in the following sections.
그러나 local attention(Dai et al., 2019)은 다음 세그먼트를 처리할 때 이전 세그먼트의 attention 상태를 삭제합니다. Infini-Transformers에서는 이전 KV attention 상태를 빼는 대신 compressive memory를 사용하여 전체 컨텍스트 기록을 유지하기 위해 재사용할 것을 제안합니다. 따라서 Infini-Transformers의 각 attention 계층에는 글로벌 압축 및 로컬 세분화 상태가 모두 있습니다. 이러한 효율적인 attention 메커니즘을 Infini-attention이라고 하며, 그림 1에 설명되어 있고 다음 섹션에서 공식적으로 설명합니다.
그러나 로컬 어텐션(Dai et al., 2019)은 다음 세그먼트를 처리할 때 이전 세그먼트의 어텐션 상태를 삭제합니다. Infini-Transformers에서는 이전 KV 주의 상태를 빼는 대신 압축 메모리를 사용하여 전체 컨텍스트 기록을 유지하기 위해 재사용할 것을 제안합니다. 따라서 Infini-Transformers의 각 주의 계층에는 글로벌 압축 및 로컬 세분화 상태가 모두 있습니다. 이러한 효율적인 주의 메커니즘을 인피니 어텐션이라고 하며, 그림 1에 설명되어 있고 다음 섹션에서 공식적으로 설명합니다.