Large language models (LLMs) have demonstrated remarkable open-domain capabilities. Traditionally, LLMs tailored for a domain are trained from scratch to excel at handling domain-specific tasks. In this work, we explore an alternative strategy of continual pre-training as a means to develop domain-specific LLMs. We introduce _FinPythia-6.9B_, developed through domain-adaptive continual pre-training on the financial domain. Continual pre-trained FinPythia showcases consistent improvements on financial tasks over the original foundational model. We further explore simple but effective data selection strategies for continual pre-training. Our data selection strategies outperforms vanilla continual pre-training's performance with just 10% of corpus size and cost, without any degradation on open-domain standard tasks. Our work proposes an alternative solution to building domain-specific LLMs from scratch in a cost-effective manner.
대규모 언어 모델(LLMs)은 놀라운 범용 성능을 입증했습니다. 전통적으로 도메인에 맞는 LLM은 도메인별 작업을 뛰어나게 처리하기 위해 처음부터 학습합니다. 이 연구에서는 도메인별 LLM을 개발하기 위한 수단으로 지속적인 pre-training이라는 대안적인 전략을 모색합니다. 우리는 금융 도메인에 대한 도메인 적응 지속적 pre-training을 통해 개발된 _FinPythia-6.9B_를 소개합니다. 지속적으로 pre-trained FinPythia는 기존 기반 모델에 비해 금융 업무에서 일관된 개선 사항을 보여줍니다. 또한 지속적인 pre-training을 위한 간단하지만 효과적인 데이터 선택 전략을 추가로 탐색합니다. 우리의 데이터 선택 전략은 일반적인 지속적 pre-training의 성능을 뛰어넘는 성능을 보이며, open-domain 표준 작업의 성능 저하 없이 코퍼스 크기와 비용의 10%만 사용합니다. 이 연구는 비용 효율적인 방식으로 도메인별 LLM을 처음부터 구축하는 대안을 제안합니다.
대규모 언어 모델(LLM)은 놀라운 범용 성능을 입증했습니다. 전통적으로 도메인에 맞는 LLM은 도메인별 작업을 뛰어나게 처리하기 위해 처음부터 학습합니다. 이 연구에서는 도메인별 LLM을 개발하기 위한 수단으로 지속적인 사전 학습이라는 대안적인 전략을 모색합니다. 우리는 금융 도메인에 대한 도메인 적응 지속적 사전 학습을 통해 개발된 _FinPythia-6.9B_를 소개합니다. 지속적으로 훈련된 FinPythia는 기존 기반 모델에 비해 금융 업무에서 일관된 개선 사항을 보여줍니다. 또한 지속적인 사전 학습을 위한 간단하지만 효과적인 데이터 선택 전략을 추가로 탐색합니다. 우리의 데이터 선택 전략은 일반적인 지속적 사전 학습의 성능을 뛰어넘는 성능을 보이며, 오픈 도메인 표준 작업의 성능 저하 없이 코퍼스 크기와 비용의 10%만 사용합니다. 이 연구는 비용 효율적인 방식으로 도메인별 LLM을 처음부터 구축하는 대안을 제안합니다.