To empirically evaluate the effectiveness of continually pre-training LLMs in comparison to training LLMs from a random initialization, we select recent pre-training datasets from the literature, outline practical continual pre-training settings for investigation, and select several baselines to compare with our proposed techniques. Our goal is to fairly compare our continual pre-training techniques to baselines in a controlled setting. We _do not_ seek to obtain state-of-the-art performance or compare with models out of the scope of this paper.
지속적으로 LLM을 사전 훈련하는 것의 효과를 무작위 초기화에서 LLM을 훈련하는 것과 비교하여 경험적으로 평가하기 위해, 저자는 문헌에서 최근의 pre-training 데이터 세트를 선택하고, 조사를 위한 실제 지속적 pre-training 설정을 개략하고, 제안한 기법과 비교할 몇 가지 baseline을 선택합니다. 저자의 목표는 통제된 환경에서 지속적인 pre-training 기법을 baseline과 공정하게 비교하는 것입니다. 저자는 최신 성능을 얻거나 이 논문의 범위를 벗어난 모델과 비교하는 것을 추구하지 않습니다.
무작위 초기화에서 LLM을 훈련하는 것과 비교하여 지속적으로 LLM을 사전 훈련하는 것의 효과를 경험적으로 평가하기 위해, 저자는 문헌에서 최근의 사전 훈련 데이터 세트를 선택하고, 조사를 위한 실제 지속적 사전 훈련 설정을 개략하고, 제안한 기법과 비교할 몇 가지 베이스라인을 선택합니다. 저자의 목표는 통제된 환경에서 지속적인 사전 훈련 기법을 베이스라인과 공정하게 비교하는 것입니다. 저자는 최신 성능을 얻거나 이 논문의 범위를 벗어난 모델과 비교하는 것을 추구하지 않습니다.