\(\bullet\)_Position interpolation._ This method downscales the position indices within the original context window, to avoid out-of-distribution rotation angles during pre-training [240, 289]. To be more specific, this approach multiplies all position indices by a coefficient \(L/L^{\prime}\) (\(L<L^{\prime}\)), where \(L\) and \(L^{\prime}\) represent the original and target context window length, respectively. Experimental results [240] have shown that this method can extend the context window effectively and efficiently, compared to the above approach of direct model fine-tuning. However, it is worth noting that this technique may have an adverse impact on the model's performance when handling shorter texts[240, 290].
\(\bullet\)_위치 보간._ 이 방법은 사전 학습 중에 분포 밖 회전 각도를 피하기 위해 원래 컨텍스트 창 내에서 위치 인덱스를 다운스케일링합니다[240, 289]. 좀 더 구체적으로, 이 접근 방식은 모든 위치 인덱스에 계수 \(L/L^{\prime}\)(\(L<L^{\prime}\))을 곱하는데, 여기서 \(L\)과 \(L^{\prime}\)은 각각 원래 컨텍스트 창 길이와 대상 컨텍스트 창 길이를 나타냅니다. 실험 결과[240]에 따르면 이 방법은 직접 모델 Fine-tuning의 위 접근 방식에 비해 컨텍스트 창을 효과적이고 효율적으로 확장할 수 있는 것으로 나타났습니다. 그러나 이 기법은 짧은 텍스트를 처리할 때 모델의 성능에 부정적인 영향을 미칠 수 있다는 점에 유의할 필요가 있습니다[240, 290].
\(\bullet\)_위치 보간._ 이 방법은 사전 학습 중에 분포 밖 회전 각도를 피하기 위해 원래 컨텍스트 창 내에서 위치 인덱스를 다운스케일링합니다[240, 289]. 좀 더 구체적으로, 이 접근 방식은 모든 위치 인덱스에 계수 \(L/L^{\프라임}\)(\(L<L^{\프라임}\))을 곱하는데, 여기서 \(L\)과 \(L^{\프라임}\)은 각각 원래 컨텍스트 창 길이와 대상 컨텍스트 창 길이를 나타냅니다. 실험 결과[240]에 따르면 이 방법은 직접 모델 미세 조정의 위 접근 방식에 비해 컨텍스트 창을 효과적이고 효율적으로 확장할 수 있는 것으로 나타났습니다. 그러나 이 기법은 짧은 텍스트를 처리할 때 모델의 성능에 부정적인 영향을 미칠 수 있다는 점에 유의할 필요가 있습니다[240, 290].