We further extend the Yi model capability from three dimensions: context scaling, vision-language adaptation, and depth-upscaling. To achive 200K context length, we continue pretrain the model on about 5B length-upsampled data, similar to the concurrent work in Fu et al. [22]. To adapt the model to vision-language tasks, we integrate a vision encoder and develop a multi-stage training method, following and improving the practice of Liu et al. [47]. We also study the effectiveness of depth-upscaling [38], i.e., making the model deeper by continual pretraining, and confirming its effectiveness to further improve model performance.
컨텍스트 scaling, 비전-언어 적응, 깊이-upscaling의 세 가지 차원에서 Yi 모델 기능을 더욱 확장합니다. 200K 컨텍스트 길이를 달성하기 위해 Fu 등의 동시 작업[22]과 유사하게 약 5B 길이 업샘플링 데이터에 대해 모델을 계속 pretrain합니다. 모델을 비전 언어 작업에 맞게 조정하기 위해 비전 encoder를 통합하고 Liu 등의 실습을 따라 개선한 다단계 훈련 방법을 개발합니다[47]. 또한 깊이 upscaling[38]의 효과, 즉 지속적인 pretraining을 통해 모델을 더 깊게 만들고 모델 성능을 더욱 향상시키는 효과도 확인했습니다.
컨텍스트 스케일링, 비전-언어 적응, 깊이-업스케일링의 세 가지 차원에서 Yi 모델 기능을 더욱 확장합니다. 200K 컨텍스트 길이를 달성하기 위해 Fu 등의 동시 작업[22]과 유사하게 약 5B 길이 업샘플링 데이터에 대해 모델을 계속 사전 학습합니다. 모델을 비전 언어 작업에 맞게 조정하기 위해 비전 인코더를 통합하고 Liu 등의 실습을 따라 개선한 다단계 훈련 방법을 개발합니다[47]. 또한 깊이 업스케일링[38]의 효과, 즉 지속적인 사전 학습을 통해 모델을 더 깊게 만들고 모델 성능을 더욱 향상시키는 효과도 확인했습니다.