\(\bullet\)_Direct model fine-tuning._ To adapt LLMs to a long context window, a straightforward approach is to directly fine-tune the models on long texts with the desired length. The context extension can be scheduled with increased lengths in a multi-stage approach (_e.g._, \(2\text{K}\to 8\text{K}\to 32\text{K}\)). To conduct effective extension, it needs specially prepared long texts for training. Specially, some recent study has shown that the quality is more important than the lengths of training text in long context models [288]. However, a recent study has highlighted that the fine-tuning approach tends to be inherently slow when adapting LLMs for long texts [240].
\(\bullet\)_Direct model Fine-tuning._ LLM을 긴 컨텍스트 창에 맞게 조정하기 위한 간단한 접근 방식은 원하는 길이의 긴 텍스트에 대해 모델을 직접 Fine-tuning하는 것입니다. 컨텍스트 확장은 다단계 접근 방식(예: \(2\text{K}\to 8\text{K}\to 32\text{K}\))으로 길이를 늘려서 예약할 수 있습니다. 효과적인 확장을 수행하려면 학습을 위해 특별히 준비된 긴 텍스트가 필요합니다. 특히, 최근 연구에 따르면 긴 문맥 모델에서 학습 텍스트의 길이보다 품질이 더 중요하다는 사실이 밝혀졌습니다[288]. 그러나 최근 연구에 따르면 긴 텍스트에 대해 LLM을 조정할 때 Fine-tuning 접근 방식이 본질적으로 느린 경향이 있다고 합니다[240].
\(\bullet\)_직접 모델 미세 조정._ LLM을 긴 컨텍스트 창에 맞게 조정하기 위한 간단한 접근 방식은 원하는 길이의 긴 텍스트에 대해 모델을 직접 미세 조정하는 것입니다. 컨텍스트 확장은 다단계 접근 방식(예: \(2\text{K}\to 8\text{K}\to 32\text{K}\))으로 길이를 늘려서 예약할 수 있습니다. 효과적인 확장을 수행하려면 학습을 위해 특별히 준비된 긴 텍스트가 필요합니다. 특히, 최근 연구에 따르면 긴 문맥 모델에서 학습 텍스트의 길이보다 품질이 더 중요하다는 사실이 밝혀졌습니다[288]. 그러나 최근 연구에 따르면 긴 텍스트에 대해 LLM을 조정할 때 미세 조정 접근 방식이 본질적으로 느린 경향이 있다고 합니다[240].