The concept behind this type of positional embedding is to facilitate extrapolation during inference for sequences longer than those encountered in training. In [128] Press et al. proposed Attention with Linear Biases (ALiBi). Instead of simply adding positional embeddings to word embeddings, they introduced a bias to the attention scores of query-key pairs, imposing a penalty proportional to their distance. In the BLOOM model, ALiBi is leveraged.
이러한 유형의 위치 임베딩 뒤에 숨겨진 개념은 훈련에서 접한 것보다 긴 시퀀스에 대한 추론 중 extrapolation을 용이하게 하는 것입니다. [128] Press 등은 Attention with Linear Biases (ALiBi)를 제안했습니다. 단순히 단어 임베딩에 위치 임베딩을 추가하는 대신 쿼리 키 쌍의 attention 점수에 bias를 도입하여 거리에 비례하는 페널티를 부과했습니다. BLOOM 모델에서는 ALiBi가 활용됩니다.
이러한 유형의 위치 임베딩 뒤에 숨겨진 개념은 훈련에서 접한 것보다 긴 시퀀스에 대한 추론 중 추정을 용이하게 하는 것입니다. [128] Press 등은 선형 바이어스를 사용한 주의력(ALiBi)을 제안했습니다. 단순히 단어 임베딩에 위치 임베딩을 추가하는 대신 쿼리 키 쌍의 주의도 점수에 바이어스를 도입하여 거리에 비례하는 페널티를 부과했습니다. BLOOM 모델에서는 ALiBi가 활용됩니다.