\(\bullet\)_Relative position embedding._ Unlike absolute position embeddings, relative positional embeddings are generated according to the offsets between keys and queries [273]. A popular variant of relative PE was introduced in Transformer-XL [274, 275]. The calculation of attention scores between keys and queries has been modified to introduce learnable embeddings corresponding to relative positions. T5 [82] further simplified relative positional embeddings, which was subsequently adopted by Gopher [64]. Specifically, it adds learnable scalars to the attention scores, where the scalars are calculated based on the distances between the positions of the query and the key. Compared with the absolute PE, Transformers with relative position embedding can generalize to sequences longer than those sequences for training, _i.e._, extrapolation [264].
\(\bullet\)_Relative position embedding._ 절대적 위치 임베딩과 달리 상대적 위치 임베딩은 키와 쿼리 사이의 오프셋에 따라 생성됩니다[273]. 상대적 PE의 대중적인 변형은 Transformer-XL[274, 275]에서 소개되었습니다. 키와 쿼리 간의 attention 점수 계산이 수정되어 상대적 위치에 해당하는 학습 가능한 임베딩을 도입했습니다. T5 [82]는 상대적 위치 임베딩을 더욱 단순화했으며, 이후 Gopher [64]에서 채택했습니다. 구체적으로, attention 점수에 학습 가능한 스칼라를 추가하는데, 스칼라는 쿼리의 위치와 키의 위치 사이의 거리를 기반으로 계산됩니다. 절대적 PE와 비교하여 상대적 위치 임베딩이 있는 Transformers는 훈련 시퀀스보다 긴 시퀀스, 즉 외삽[264]으로 일반화할 수 있습니다.
\(\bullet\)_상대적 위치 임베딩._ 절대적 위치 임베딩과 달리 상대적 위치 임베딩은 키와 쿼리 사이의 오프셋에 따라 생성됩니다[273]. 상대적 PE의 대중적인 변형은 Transformer-XL[274, 275]에서 소개되었습니다. 키와 쿼리 간의 주의도 점수 계산이 수정되어 상대적 위치에 해당하는 학습 가능한 임베딩을 도입했습니다. T5 [82]는 상대적 위치 임베딩을 더욱 단순화했으며, 이후 Gopher [64]에서 채택했습니다. 구체적으로, 주의도 점수에 학습 가능한 스칼라를 추가하는데, 스칼라는 쿼리의 위치와 키의 위치 사이의 거리를 기반으로 계산됩니다. 절대적 PE와 비교하여 상대적 위치 임베딩이 있는 트랜스포머는 훈련 시퀀스보다 긴 시퀀스, 즉 외삽[264]으로 일반화할 수 있습니다.