Several related works apply continual pre-training to specific tasks and domains (Sun et al., 2020; Jang et al., 2022; 2022; Gong et al., 2022; Zan et al., 2022; Yadav et al., 2023; Ma et al., 2023; Yang et al., 2024). While these works also utilize continual pre-training techniques, they differ from our work by focusing on particular domains instead of general pre-training techniques, on smaller-scale datasets \(<\) 10B tokens with smaller models. The only existing work that approaches our dataset scale is (Gogoulou et al., 2023), which explores continual autoregressive language modeling across English, Danish, Icelandic, and Norwegian datasets (73B each). While they do not use replay they do re-warm and re-decay the learning rate. The only existing work that approaches our model scale is (Yang et al., 2024). They continually pre-train and instruction tune LLaMA2 on small-scale academic plant science data. This concurrent work uses a very similar continual learning setup to the one we propose: replay, LR re-warming, and LR re-decaying. While, unlike our work, they _do not_ build a controlled experimental framework to systematically evaluate the validity of these approaches for continual pre-training, it is nice to see further experimental evidence validating our approach.
몇 가지 관련 연구에서는 특정 작업과 도메인에 지속적인 사전 학습을 적용합니다(Sun et al., 2020; Jang et al., 2022; 2022; Gong et al., 2022; Zan et al., 2022; Yadav et al., 2023; Ma et al., 2023; Yang et al., 2024). 이러한 작업에서도 지속적인 사전 학습 기법을 활용하지만, 일반적인 사전 학습 기법이 아닌 특정 도메인에 초점을 맞추고, 더 작은 규모의 데이터 세트(<10B 토큰)와 더 작은 모델을 사용한다는 점에서 저희 작업과는 다릅니다. 데이터 세트 규모에 접근하는 유일한 기존 작업은 영어, 덴마크어, 아이슬란드어, 노르웨이어 데이터 세트(각각 73B)에 걸쳐 지속적인 자동 회귀 언어 모델링을 탐구하는 (Gogoulou et al., 2023)입니다. 리플레이를 사용하지는 않지만 Learning Rate를 다시 예열하고 다시 감소시킵니다. 모델 규모에 접근하는 유일한 기존 작업은 (Yang et al., 2024)입니다. 이들은 소규모 학술 식물 과학 데이터에 대해 LLaMA2를 지속적으로 사전 학습하고 Instruction을 조정합니다. 이 동시 작업은 우리가 제안하는 것과 매우 유사한 지속 학습 설정, 즉 리플레이, LR 재가열 및 LR 재감쇠를 사용합니다. 우리 연구와 달리 이러한 접근 방식의 지속적 사전 학습에 대한 타당성을 체계적으로 평가하기 위한 통제된 실험 프레임워크를 구축하지는 않았지만, 우리 접근 방식을 검증하는 추가 실험적 증거를 확인할 수 있어 좋습니다.
몇 가지 관련 연구에서는 특정 작업과 도메인에 지속적인 사전 학습을 적용합니다(Sun et al., 2020; Jang et al., 2022; 2022; Gong et al., 2022; Zan et al., 2022; Yadav et al., 2023; Ma et al., 2023; Yang et al., 2024). 이러한 작업에서도 지속적인 사전 학습 기법을 활용하지만, 일반적인 사전 학습 기법이 아닌 특정 도메인에 초점을 맞추고, 더 작은 규모의 데이터 세트(<10B 토큰)와 더 작은 모델을 사용한다는 점에서 저희 작업과는 다릅니다. 데이터 세트 규모에 접근하는 유일한 기존 작업은 영어, 덴마크어, 아이슬란드어, 노르웨이어 데이터 세트(각각 73B)에 걸쳐 지속적인 자동 회귀 언어 모델링을 탐구하는 (Gogoulou et al., 2023)입니다. 리플레이를 사용하지는 않지만 학습 속도를 다시 예열하고 다시 감소시킵니다. 모델 규모에 접근하는 유일한 기존 작업은 (Yang et al., 2024)입니다. 이들은 소규모 학술 식물 과학 데이터에 대해 LLaMA2를 지속적으로 사전 학습하고 지침을 조정합니다. 이 동시 작업은 우리가 제안하는 것과 매우 유사한 지속 학습 설정, 즉 리플레이, LR 재가열 및 LR 재감쇠를 사용합니다. 우리 연구와 달리 이러한 접근 방식의 지속적 사전 학습에 대한 타당성을 체계적으로 평가하기 위한 통제된 실험 프레임워크를 구축하지는 않았지만, 우리 접근 방식을 검증하는 추가 실험적 증거를 확인할 수 있어 좋습니다.