In order to make a specialist or domain-specific LLM, they need to be trained on domain data. Approaches for building domain-specific LLMs can be categorized into two categories: training domain-specific LLMs from scratch or using continual pre-training existing LLMs with domain data. Most researchers have taken the first approach of building domain-specific LLMs from scratch. Prominent examples are the Med-PaLM family [23; 24] for the medical domain, Galactica for scientific papers [26], and BloombergGPT [31] for finance. Little attention has been paid to building domain-specific LLMs using domain-adaptive continual pre-training, despite being a much cheaper alternative. Notably, PMC-LLaMA [30], a medical LLM was trained through continual pre-training of LLaMA [27] on medical papers. Continual pre-training can also be used for updating a LLM with the latest knowledge in an evolving environment.
전문가 또는 도메인별 LLM을 만들려면 도메인 데이터로 학습해야 합니다. 도메인별 LLM을 구축하는 접근 방식은 두 가지 범주로 분류할 수 있습니다: 처음부터 도메인별 LLM을 훈련하거나 도메인 데이터로 기존 LLM을 continual pre-training하는 것입니다. 대부분의 연구자들은 처음부터 도메인별 LLM을 구축하는 첫 번째 접근 방식을 취했습니다. 대표적인 예로는 의료 도메인을 위한 Med-PaLM 제품군[23; 24], 과학 논문을 위한 Galactica[26], 금융을 위한 BloombergGPT[31] 등이 있습니다. 훨씬 저렴한 대안임에도 불구하고 도메인 적응형 continual pre-training을 사용하여 도메인별 LLM을 구축하는 데는 거의 관심이 기울여지지 않았습니다. 특히, 의료 LLM인 PMC-LLaMA [30]는 의료 논문에 대한 LLaMA [27]의 continual pre-training을 통해 학습되었습니다. Continual pre-training은 진화하는 환경에서 최신 지식으로 LLM을 업데이트하는 데에도 사용할 수 있습니다.
전문가 또는 도메인별 LLM을 만들려면 도메인 데이터로 학습해야 합니다. 도메인별 LLM을 구축하는 접근 방식은 두 가지 범주로 분류할 수 있습니다: 처음부터 도메인별 LLM을 훈련하거나 도메인 데이터로 기존 LLM을 사전 훈련하는 것입니다. 대부분의 연구자들은 처음부터 도메인별 LLM을 구축하는 첫 번째 접근 방식을 취했습니다. 대표적인 예로는 의료 도메인을 위한 Med-PaLM 제품군[23; 24], 과학 논문을 위한 갈락티카[26], 금융을 위한 블룸버그GPT[31] 등이 있습니다. 훨씬 저렴한 대안임에도 불구하고 도메인 적응형 지속적 사전 학습을 사용하여 도메인별 LLM을 구축하는 데는 거의 관심이 기울여지지 않았습니다. 특히, 의료 LLM인 PMC-LLaMA [30]는 의료 논문에 대한 LLaMA [27]의 지속적 사전 학습을 통해 학습되었습니다. 지속적 사전 학습은 진화하는 환경에서 최신 지식으로 LLM을 업데이트하는 데에도 사용할 수 있습니다.