Our findings show that continual pre-training is an efficient and promising alternative to re-training when updating LLMs on new data. Equipped with our strategies, practitioners can efficiently update their existing models (Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024) on newly created higher-quality datasets. These strategies might also be relevant for pre-training curricula such as the ones used by Gemma Team et al. (2024). With the strong incentive for our community to continue creating datasets of increasing quality, we only expect the need for continual pre-training to increase.
연구 결과에 따르면 새로운 데이터에 대한 LLM을 업데이트할 때 지속적인 pre-training이 재학습에 대한 효율적이고 유망한 대안임을 보여줍니다. 이러한 전략을 갖춘 실무자는 새로 생성된 더 높은 품질의 데이터 세트에서 기존 모델(Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024)을 효율적으로 업데이트할 수 있습니다. 이러한 전략은 Gemma Team et al. (2024)에서 사용한 것과 같은 pre-training 커리큘럼에도 적용될 수 있습니다. 커뮤니티가 계속해서 품질이 높아지는 데이터 세트를 만들려는 강력한 인센티브가 있기 때문에 지속적인 pre-training의 필요성은 더욱 커질 것으로 예상됩니다.
연구 결과에 따르면 새로운 데이터에 대한 LLM을 업데이트할 때 지속적인 사전 학습이 재학습에 대한 효율적이고 유망한 대안임을 보여줍니다. 이러한 전략을 갖춘 실무자는 새로 생성된 더 높은 품질의 데이터 세트에서 기존 모델(Rae et al., 2021; Hoffmann et al., 2022; Touvron et al., 2023; Jiang et al., 2023; Gemma Team et al., 2024)을 효율적으로 업데이트할 수 있습니다. 이러한 전략은 Gemma Team et al. (2024)에서 사용한 것과 같은 사전 학습 커리큘럼에도 적용될 수 있습니다. 커뮤니티가 계속해서 품질이 높아지는 데이터 세트를 만들려는 강력한 인센티브가 있기 때문에 지속적인 사전 학습의 필요성은 더욱 커질 것으로 예상됩니다.