\(\bullet\)_Base modification._ LLMs are usually trained with a pre-set maximum training length, _e.g._, 4096 in Llama 2 [99]. However, wavelengths in certain dimensions of RoPE may exceed the training length for longer text [276], so that language models have not undergone sufficient training (_i.e._, a complete rotation cycle) on these dimensions. Thus, when we adapt LLMs to longer texts, the rotation angles for certain dimensions would be never seen in the training phase [292]. Given a fixed rotation angle \(t\cdot\theta_{i}\), a smaller basis \(\theta_{i}\) allows for a greater distance \(t\), _i.e._, enabling the modeling of longer texts [235, 276, 288]. According to the formula \(\theta_{i}=b^{-2(i-1)/d}\) in Equation 4, decreasing the basis can be achieved by increasing the value of the base. In addition, decreasing the base can also help re-scale the wavelengths of all dimensions below the training length, while it often needs continual pre-training to adapt the LLMs to long context windows [292].
\(\bullet\)_기본 수정._ LLMs는 보통 사전에 설정된 최대 훈련 길이로 훈련됩니다. 예를 들어, Llama 2 [99]에서는 4096입니다. 그러나 RoPE의 특정 차원에서 파장 길이는 더 긴 텍스트에 대해 훈련 길이를 초과할 수 있으며 [276], 이로 인해 언어 모델은 이러한 차원에서 충분한 훈련을 받지 못하게 됩니다 (_즉_, 완전한 회전 주기). 따라서 LLMs를 더 긴 텍스트에 적응시킬 때, 특정 차원의 회전 각도는 훈련 단계에서 전혀 보지 못한 것이 될 수 있습니다 [292]. 고정된 회전 각도 \(t\cdot\theta_{i}\)를 고려할 때, 더 작은 기저 \(\theta_{i}\)는 더 큰 거리 \(t\)를 허용하여, _즉_, 더 긴 텍스트를 모델링할 수 있게 합니다 [235, 276, 288]. Equation 4의 공식 \(\theta_{i}=b^{-2(i-1)/d}\)에 따르면, 기저를 줄이는 것은 기본값을 증가시킴으로써 달성할 수 있습니다. 또한, 기본값을 줄이는 것은 훈련 길이 이하의 모든 차원의 파장을 재조정하는 데 도움이 될 수 있으며, 이는 종종 LLMs를 긴 컨텍스트 윈도우에 적응시키기 위해 지속적인 사전 훈련이 필요합니다 [292].
\(\bullet\)_기본 수정._ LLM은 일반적으로 미리 설정된 최대 훈련 길이, _예를 들어, Llama 2 [99]의 경우 4096으로 훈련됩니다. 그러나 특정 RoPE 차원의 파장은 더 긴 텍스트의 경우 훈련 길이를 초과할 수 있으므로 [276] 언어 모델이 이러한 차원에 대해 충분한 훈련(즉, 완전한 회전 주기)을 받지 못할 수 있습니다. 따라서 더 긴 텍스트에 LLM을 적용할 때 특정 차원의 회전 각도는 훈련 단계에서 볼 수 없습니다 [292]. 고정된 회전 각도 \(t\cdot\theta_{i}\), 더 작은 기저 \(\theta_{i}\), 즉 더 긴 텍스트를 모델링할 수 있는 더 큰 거리 \(t\), 즉 더 긴 텍스트를 모델링할 수 있습니다 [235, 276, 288]. 방정식 4의 \(\theta_{i}=b^{-2(i-1)/d}\) 공식에 따르면, 기저를 감소시키는 것은 기저의 값을 증가시킴으로써 달성할 수 있습니다. 또한 기저를 줄이면 훈련 길이 아래의 모든 차원의 파장을 다시 조정하는 데 도움이 될 수 있으며, LLM을 긴 문맥 창에 적응시키기 위해 지속적인 사전 훈련이 필요한 경우가 많습니다 [292].