confidential data. Domain-adaptive continual pre-training (DACP) is a straightforward alternative to building from scratch; we continually pre-train a general-purpose LLM on a large scale corpus of domain-specific unlabeled data. Domain-adaptive continual pre-training has shown the ability to adapt the language models to better fit the in-domain distribution [8; 12; 32; 21]. They also enable large language models to acquire new knowledge as new data appears [11; 10], instead of training the model from scratch. We use DACP in our experiments to benchmark its benefits.
기밀 데이터. Domain-adaptive continual pre-training (DACP)은 처음부터 구축하는 대신 간단한 대안으로, 도메인별로 분류되지 않은 대규모 코퍼스에 대해 범용 LLM을 지속적으로 사전 학습하는 것입니다. Domain-adaptive continual pre-training은 언어 모델을 도메인 내 분포에 더 잘 맞도록 조정하는 능력을 보여주었습니다[8; 12; 32; 21]. 또한 처음부터 모델을 학습시키는 대신 새로운 데이터가 나타날 때 새로운 지식을 습득할 수 있습니다[11; 10]. 실험에서 DACP를 사용하여 그 이점을 벤치마킹합니다.
기밀 데이터. 도메인 적응 지속적 사전 학습(DACP)은 처음부터 구축하는 대신 간단한 대안으로, 도메인별로 분류되지 않은 대규모 코퍼스에 대해 범용 LLM을 지속적으로 사전 학습하는 것입니다. 도메인 적응 지속적 사전 학습은 언어 모델을 도메인 내 분포에 더 잘 맞도록 조정하는 능력을 보여주었습니다[8; 12; 32; 21]. 또한 처음부터 모델을 학습시키는 대신 새로운 데이터가 나타날 때 새로운 지식을 습득할 수 있습니다[11; 10]. 실험에서 DACP를 사용하여 그 이점을 벤치마킹합니다.