**Scaling Position Embeddings.** Transformer-based LLMs can learn effective position embeddings within the maximum training length. Thus, when adapting LLMs to language tasks beyond the maximum training length, it is necessary to scale to larger position indices. Some specific position embeddings have been shown to possess a certain degree of ability to generalize to text beyond the training length, which is formally termed _extrapolation capability_, including T5 bias [82], ALiBi [264], xPos [277] and even NoPE [287]. However, as one of the mainstream position embedding methods, RoPE exhibits limited extrapolation ability in empirical studies [240]. In the following, we discuss several methods that can scale RoPE to longer texts.
**위치 임베딩의 크기 조정**. Transformer 기반 LLM은 최대 학습 길이 내에서 효과적인 위치 임베딩을 학습할 수 있습니다. 따라서 최대 학습 길이를 넘어 언어 작업에 LLM을 적용할 때는 더 큰 위치 인덱스로 확장해야 합니다. T5 바이어스[82], ALiBi[264], xPos[277], NoPE[287] 등 일부 특정 위치 임베딩은 공식적으로 _외삽 기능_이라고 하는 학습 길이를 넘어 텍스트로 일반화하는 어느 정도의 능력을 가지고 있는 것으로 나타났습니다. 그러나 주류 위치 임베딩 방식 중 하나인 RoPE는 실증 연구[240]에서 제한된 추정 능력을 보여주었습니다. 다음에서는 RoPE를 더 긴 텍스트로 확장할 수 있는 몇 가지 방법에 대해 설명합니다.
**위치 임베딩의 크기 조정**. 트랜스포머 기반 LLM은 최대 학습 길이 내에서 효과적인 위치 임베딩을 학습할 수 있습니다. 따라서 최대 학습 길이를 넘어 언어 작업에 LLM을 적용할 때는 더 큰 위치 인덱스로 확장해야 합니다. T5 바이어스[82], ALiBi[264], xPos[277], NoPE[287] 등 일부 특정 위치 임베딩은 공식적으로 _외삽 기능_이라고 하는 학습 길이를 넘어 텍스트로 일반화하는 어느 정도의 능력을 가지고 있는 것으로 나타났습니다. 그러나 주류 위치 임베딩 방식 중 하나인 RoPE는 실증 연구[240]에서 제한된 추정 능력을 보여주었습니다. 다음에서는 RoPE를 더 긴 텍스트로 확장할 수 있는 몇 가지 방법에 대해 설명합니다.