Similar to the standard MHA, for the multi-head Infini-attention we compute \(H\) number of context states in parallel, and concatenate and project them for the final attention output \(O\in\mathbb{R}^{N\times d_{mult}}\):
표준 MHA와 유사하게, 다중 헤드 Infini-attention의 경우 \(H\) 개의 컨텍스트 상태를 병렬로 계산하고 최종 attention 출력 \(O\in\mathbb{R}^{N\times d_{mult}}\)에 대해 연결 및 투영합니다:
표준 MHA와 유사하게, 다중 헤드 인피니 어텐션의 경우 \(H\) 개의 컨텍스트 상태를 병렬로 계산하고 최종 어텐션 출력 \(O\in\mathbb{R}^{N\times d_{mult}}\)에 대해 연결 및 투영합니다: