(RPE) [126] involves extending self-attention to take into account the pairwise links between input elements. RPE is added to the model at two levels: first as an additional component to the keys, and subsequently as a sub-component of the values matrix. This approach looks at the input as a fully-connected graph with labels and directed edges. In the case of linear sequences, edges can capture information about the relative position differences between input elements. A clipping distance, represented as k \(2\leq k\leq n-4\), specifies the maximum limit on relative locations. This allows the model to make reasonable predictions for sequence lengths that are not part of the training data.
(RPE) [126]는 입력 요소 간의 쌍별 링크를 고려하기 위해 self-attention을 확장하는 것을 포함합니다. RPE는 keys에 추가 구성 요소로 먼저 추가되고, 그 후 values 행렬의 하위 구성 요소로 추가되는 두 가지 수준에서 모델에 추가됩니다. 이 접근 방식은 입력을 레이블과 방향성 가장자리가 있는 완전히 연결된 그래프로 보게 합니다. 선형 시퀀스의 경우 가장자리는 입력 요소 간의 상대적 위치 차이에 대한 정보를 캡처할 수 있습니다. k \(2\leq k\leq n-4\)로 표시되는 클리핑 거리는 상대적 위치의 최대 한계를 지정합니다. 이를 통해 모델은 학습 데이터에 포함되지 않은 시퀀스 길이에 대해 합리적인 예측을 할 수 있습니다.
(RPE) [126]는 입력 요소 간의 쌍별 링크를 고려하기 위해 자기 주의를 확장하는 것을 포함합니다. RPE는 키에 추가 구성 요소로 먼저 추가되고, 그 후 값 행렬의 하위 구성 요소로 추가되는 두 가지 수준에서 모델에 추가됩니다. 이 접근 방식은 입력을 레이블과 방향성 가장자리가 있는 완전히 연결된 그래프로 보게 합니다. 선형 시퀀스의 경우 가장자리는 입력 요소 간의 상대적 위치 차이에 대한 정보를 캡처할 수 있습니다. k \(2\leq k\leq n-4\)로 표시되는 클리핑 거리는 상대적 위치의 최대 한계를 지정합니다. 이를 통해 모델은 학습 데이터에 포함되지 않은 시퀀스 길이에 대해 합리적인 예측을 할 수 있습니다.