We are also interested in applying our data mixing laws to continual pretraining, which shares the same paradigm as pertaining but begins the model with pretrained parameters instead of random initialization. Generally, continual pretraining is a common technique to enhance existing pretrained models. It injects up-to-date knowledge into the model, avoiding performance degradation due to distribution shifts (Gururangan et al., 2020; Xiong et al., 2023). In addition, researchers also apply continual pretraining to reuse existing model parameters to build models of a different architecture (Komatsuzaki et al., 2022).
또한 우리는 데이터 혼합 법칙을 연속적인 pretraining에 적용하는 것에 관심이 있는데, 이는 관련성이 있지만 무작위 초기화 대신 pretrained 파라미터로 모델을 시작하는 것과 같은 패러다임을 공유합니다. 일반적으로 연속적 pretraining은 기존 pretrained 모델을 향상시키는 일반적인 기법입니다. 이 기법은 분포 이동으로 인한 성능 저하를 방지하기 위해 모델에 최신 지식을 주입합니다(Gururangan et al., 2020; Xiong et al., 2023). 또한 연구자들은 연속적인 pretraining을 적용하여 기존 모델 파라미터를 재사용하여 다른 아키텍처의 모델을 구축하기도 합니다(Komatsuzaki et al., 2022).
또한 우리는 데이터 혼합 법칙을 연속적인 사전 학습에 적용하는 것에 관심이 있는데, 이는 관련성이 있지만 무작위 초기화 대신 사전 학습된 파라미터로 모델을 시작하는 것과 같은 패러다임을 공유합니다. 일반적으로 연속적 사전 학습은 기존 사전 학습된 모델을 향상시키는 일반적인 기법입니다. 이 기법은 분포 이동으로 인한 성능 저하를 방지하기 위해 모델에 최신 지식을 주입합니다(Gururangan et al., 2020; Xiong et al., 2023). 또한 연구자들은 연속적인 사전 학습을 적용하여 기존 모델 파라미터를 재사용하여 다른 아키텍처의 모델을 구축하기도 합니다(Komatsuzaki et al., 2022).