As shown Figure 1, our Infini-attention computes both local and global context states and combine them for its output. Similar to multi-head attention (MHA), it maintains \(H\) number of parallel compressive memory per attention layer (\(H\) is the number of attention heads) in addition to the dot-product attention.
그림 1과 같이, 우리의 Infini-attention은 로컬 및 글로벌 컨텍스트 상태를 모두 계산하고 이를 결합하여 출력합니다. Multi-head Attention (MHA)과 유사하게, dot-product attention 외에 attention 레이어당 \(H\) 개의 병렬 compressive memory를 유지합니다(\(H\)는 attention head의 수).
그림 1과 같이, 우리의 인피니 어텐션은 로컬 및 글로벌 컨텍스트 상태를 모두 계산하고 이를 결합하여 출력합니다. 다중 헤드 어텐션(MHA)과 유사하게, 도트 프로덕트 어텐션 외에 어텐션 레이어당 \(H\) 개의 병렬 압축 메모리를 유지합니다(\(H\)는 어텐션 헤드의 수).