Due to the excellent performance and the long-term decay property, RoPE is widely adopted in the latest LLMs, _e.g._, PaLM [56] and LLMA [57]. Based on RoPE, xPos [277] further improves the translation invariance and length extrapolation of Transformer. At each dimension of the rotation angle vector, xPos adds a special exponential decay that is smaller when the basis is larger. It can alleviate the unstable phenomenon during training as the distance increases.
뛰어난 성능과 장기 붕괴 특성으로 인해 RoPE는 최신 LLMs, _예:_ PaLM [56] 및 LLMA [57]에 널리 채택되었습니다. RoPE를 기반으로 한 xPos [277]는 Transformer의 변환 불변성과 길이 외삽을 더욱 개선합니다. 회전 각도 벡터의 각 차원에서 xPos는 기저가 클수록 더 작은 특수 지수 감쇠를 추가합니다. 거리가 멀어질 때 훈련 중 불안정한 현상을 완화할 수 있습니다.
뛰어난 성능과 장기 붕괴 특성으로 인해 RoPE는 최신 LLM, _예:_ PaLM [56] 및 LLMA [57]에 널리 채택되었습니다. RoPE를 기반으로 한 xPos [277]는 트랜스포머의 변환 불변성과 길이 외삽을 더욱 개선합니다. 회전 각도 벡터의 각 차원에서 xPos는 기저가 클수록 더 작은 특수 지수 감쇠를 추가합니다. 거리가 멀어질 때 훈련 중 불안정한 현상을 완화할 수 있습니다.