In this work, we explore the following: 1) Is domain-adaptive continual pre-training helpful in building domain-specific LLMs?; 2) Can we employ data selection strategies for a more effective domain-adaptive continual pre-training?; and 3) Does domain-adaptive continual pre-training hurt LLM's open-domain capabilities? We answer these questions in the confines of finance domain by training a continually pre-trained model, FinPythia, built on top of Pythia [4].
이 연구에서 우리는 다음을 탐구합니다: 1) 도메인 적응형 지속적 사전 훈련이 도메인 특화 LLM을 구축하는 데 도움이 되는가?; 2) 더 효과적인 도메인 적응형 지속적 사전 훈련을 위해 데이터 선택 전략을 사용할 수 있는가?; 3) 도메인 적응형 지속적 사전 훈련이 LLM의 오픈 도메인 기능에 해를 끼치는가? 우리는 Pythia [4]를 기반으로 구축된 지속적으로 사전 훈련된 모델인 FinPythia를 훈련하여 금융 도메인의 범위 내에서 이러한 질문에 답합니다.
이 연구에서는 다음과 같은 사항을 살펴봅니다: 1) 도메인 적응 지속적 사전 학습이 도메인별 LLM 구축에 도움이 되는가?; 2) 보다 효과적인 도메인 적응 지속적 사전 학습을 위해 데이터 선택 전략을 사용할 수 있는가?; 3) 도메인 적응 지속적 사전 학습이 LLM의 오픈 도메인 기능에 해가 되는가? 이러한 질문에 대해 Pythia [4]를 기반으로 구축된 지속적으로 사전 학습된 모델인 FinPythia를 훈련하여 금융 도메인 내에서 답합니다.