\(\bullet\)_Position truncation._ To mitigate the challenges posed by out-of-distribution rotation angles, another practical approach is to truncate longer relative positions to satisfy the requirement of the maximum training length. Specifically, ReRoPE and LeakyReRoPE [291] introduce a pre-defined window length, which is smaller than the maximum training length. Position indices within this pre-defined window are retained, while those indices beyond the window are either truncated to the pre-defined window length or interpolated to align with the maximum training length. This strategy can reserve local position relationships and enhance the extrapolation capacity. However, this approach needs to compute the attention matrices twice, accommodating additional computational budget.
\(\bullet\)_Position truncation._ 배포 외부 회전 각도로 인한 문제를 완화하기 위한 또 다른 실용적인 접근 방식은 최대 훈련 길이 요구 사항을 충족하기 위해 긴 상대 위치를 잘라내는 것입니다. 구체적으로, ReRoPE 및 LeakyReRoPE [291]는 최대 훈련 길이보다 작은 사전 정의된 윈도우 길이를 도입합니다. 이 사전 정의된 윈도우 내의 위치 인덱스는 유지되며, 윈도우를 넘어서는 인덱스는 사전 정의된 윈도우 길이로 잘리거나 최대 훈련 길이에 맞게 보간 처리됩니다. 이 전략은 로컬 위치 관계를 유지하고 추정 능력을 향상시킬 수 있습니다. 그러나 이 접근 방식은 추가 계산 예산을 수용하여 attention 행렬을 두 번 계산해야 합니다.
\(\bullet\)_위치 잘라내기._ 배포 외부 회전 각도로 인한 문제를 완화하기 위한 또 다른 실용적인 접근 방식은 최대 훈련 길이 요구 사항을 충족하기 위해 긴 상대 위치를 잘라내는 것입니다. 구체적으로, ReRoPE 및 LeakyReRoPE [291]는 최대 훈련 길이보다 작은 사전 정의된 윈도우 길이를 도입합니다. 이 사전 정의된 윈도우 내의 위치 인덱스는 유지되며, 윈도우를 넘어서는 인덱스는 사전 정의된 윈도우 길이로 잘리거나 최대 훈련 길이에 맞게 보간 처리됩니다. 이 전략은 로컬 위치 관계를 유지하고 추정 능력을 향상시킬 수 있습니다. 그러나 이 접근 방식은 추가 계산 예산을 수용하여 주의도 행렬을 두 번 계산해야 합니다.