In follow-up work, it will be important to further investigate infinite learning rate schedules, growing models during continual pre-training (e.g., mixture-of-experts or block expansion), and adapting the tokenizer to handle drastic changes to the data distribution. Moreover, we would like to explore continual pre-training in the context of multimodal or vision language models and other text-based generative models - we note that recently, Garg et al. (2023) concurrently replicated the success of the techniques discussed in this work in the context of CLIP models instead of LLMs. We also would like to explore replay buffer creating in the continual pre-training setting where an open-weight model does not disclose its dataset; we suspect using the available model for synthetic data or distillation may be a promising direction to build the replay buffer.
후속 연구에서는 무한 Learning Rate 일정, 지속적인 사전 학습 중에 모델을 확장하는 방법(예: mixture-of-experts 또는 block expansion), 데이터 분포의 급격한 변화를 처리하도록 tokenizer를 조정하는 방법을 추가로 조사하는 것이 중요할 것입니다. 또한 멀티모달 또는 비전 언어 모델과 다른 텍스트 기반 생성 모델의 맥락에서 지속적인 사전 학습을 탐구하고 싶습니다. 최근 Garg 등(2023)이 LLM 대신 CLIP 모델의 맥락에서 이 연구에서 논의된 기술의 성공을 동시에 복제했다는 점에 주목합니다. 또한 오픈 웨이트 모델이 데이터 세트를 공개하지 않는 지속적 사전 학습 설정에서 replay buffer 생성을 탐구하고 싶습니다. replay buffer를 구축하기 위해 사용 가능한 모델을 합성 데이터 또는 distillation에 사용하는 것이 유망한 방향이 될 것으로 생각합니다.
후속 연구에서는 무한 학습 속도 일정, 지속적인 사전 학습 중에 모델을 확장하는 방법(예: 전문가 혼합 또는 블록 확장), 데이터 분포의 급격한 변화를 처리하도록 토큰화기를 조정하는 방법을 추가로 조사하는 것이 중요할 것입니다. 또한 멀티모달 또는 비전 언어 모델과 다른 텍스트 기반 생성 모델의 맥락에서 지속적인 사전 학습을 탐구하고 싶습니다. 최근 Garg 등(2023)이 LLM 대신 CLIP 모델의 맥락에서 이 연구에서 논의된 기술의 성공을 동시에 복제했다는 점에 주목합니다. 또한 오픈 웨이트 모델이 데이터 세트를 공개하지 않는 지속적 사전 학습 설정에서 리플레이 버퍼 생성을 탐구하고 싶습니다. 리플레이 버퍼를 구축하기 위해 사용 가능한 모델을 합성 데이터 또는 증류에 사용하는 것이 유망한 방향이 될 것으로 생각합니다.