The attention mechanism is also prone to the issues of attention sink (Xiao et al., 2023) and lost-in-the-middle (Liu et al., 2024). Consequently, they struggle in a regime where context length is longer than what was observed during training (Press et al., 2021; Kazemnejad et al., 2024). The proposed Infini-attention addresses those issues by enabling a segment-level streaming computation over long sequences with a fixed local attention window. Our Infini-Transformers successfully extrapolate to 1M input length regimes when trained on 32K and even 5K length sequences.
주의 메커니즘은 attention sink (Xiao et al., 2023)와 lost-in-the-middle (Liu et al., 2024)의 문제에도 취약합니다. 따라서 context 길이가 학습 중에 관찰된 것보다 긴 체제에서는 어려움을 겪습니다(Press et al., 2021; Kazemnejad et al., 2024). 제안된 Infini-attention은 고정된 local attention window를 사용하여 긴 시퀀스에 대한 세그먼트 수준의 스트리밍 계산을 가능하게 함으로써 이러한 문제를 해결합니다. 우리의 Infini-Transformers는 32K 및 5K 길이의 시퀀스에 대해 학습했을 때 1M 입력 길이 체제로 성공적으로 추정합니다.
주의 메커니즘은 주의력 침하(Xiao et al., 2023)와 중간 손실(Liu et al., 2024)의 문제에도 취약합니다. 따라서 컨텍스트 길이가 학습 중에 관찰된 것보다 긴 체제에서는 어려움을 겪습니다(Press et al., 2021; Kazemnejad et al., 2024). 제안된 인피니 어텐션은 고정된 로컬 어텐션 윈도우를 사용하여 긴 시퀀스에 대한 세그먼트 수준의 스트리밍 계산을 가능하게 함으로써 이러한 문제를 해결합니다. Infini-Transformers는 32K 및 5K 길이의 시퀀스에 대해 학습했을 때 1M 입력 길이 체제로 성공적으로 추정합니다.