Our long-context solution consists of a continual pretraining and a finetuning phase, both are lightweight. We hold the basic hypothesis that the potential of utilizing information anywhere within the 200K input context is already exist in the base model (same as Fu et al. 22), the continue pretraining phase "unlocks" such capability, evidenced by a strong performance on Needle-in-a-Haystack test, then the finetuning phase further adapt the style of response to follow human instruction and preference.
저희의 긴 컨텍스트 솔루션은 경량화된 연속 pretraining 및 Fine-tuning 단계로 구성됩니다. 저희는 200K 입력 컨텍스트 내의 어느 위치에서든 정보를 활용할 수 있는 잠재력이 기본 모델에 이미 존재한다는 기본 가설(Fu et al. 22와 동일)을 가지고 있으며, 연속 pretraining 단계는 이러한 기능을 "해제"하여 Needle-in-a-Haystack 테스트에서 강력한 성능을 입증한 다음, Fine-tuning 단계는 인간의 Instruction과 선호도에 따라 응답 스타일을 더욱 적응시킵니다.
저희의 긴 컨텍스트 솔루션은 경량화된 연속 사전 학습 및 미세 조정 단계로 구성됩니다. 저희는 200K 입력 컨텍스트 내의 어느 위치에서든 정보를 활용할 수 있는 잠재력이 기본 모델에 이미 존재한다는 기본 가설(Fu et al. 22와 동일)을 가지고 있으며, 연속 사전 학습 단계는 이러한 기능을 "해제"하여 건초더미 테스트에서 강력한 성능을 입증한 다음, 미세 조정 단계는 인간의 지시와 선호도에 따라 응답 스타일을 더욱 적응시킵니다.