The main contributions of this paper are threefold. Firstly, we curate a large-scale financial corpus comprising 16 billion words sourced from financial datasets. Secondly, our experiments demonstrate the promise of building domain-specific LLMs through continual pre-training, further validating and extending the findings obtained from smaller language models [8]. This finding provides insights for building domain-specific LLMs with lower costs, as an alternative to expensive pre-training from scratch. Our results indicate that continual pre-training maintains the same open-domain performance as the original foundation model. Lastly, we propose two Efficient Domain-adaptive Continual Pre-training methods as a more efficient approach to vanilla continual pre-training. Our novel approach deploys data selection strategies that can achieve better performance with a fraction of the cost of the domain-adaptive continual pre-training.
이 백서의 주요 기여는 세 가지입니다. 첫째, 금융 데이터 세트에서 가져온 160억 단어로 구성된 대규모 금융 말뭉치를 큐레이션합니다. 둘째, 실험을 통해 지속적인 pre-training을 통해 도메인별 LLM을 구축할 수 있다는 가능성을 입증하고, 소규모 언어 모델[8]에서 얻은 결과를 검증하고 확장하는 실험을 수행했습니다. 이 결과는 값비싼 처음부터의 pre-training을 대신하여 더 낮은 비용으로 도메인별 LLM을 구축하기 위한 인사이트를 제공합니다. 연구 결과에 따르면 지속적인 pre-training은 원래의 foundation model과 동일한 범위의 성능을 유지합니다. 마지막으로, 일반적인 지속적 pre-training에 대한 보다 효율적인 접근 방식으로 두 가지 Efficient Domain-adaptive Continual Pre-training 방법을 제안합니다. 새로운 접근 방식은 도메인 적응 지속적 pre-training의 비용의 일부로 더 나은 성능을 달성할 수 있는 데이터 선택 전략을 배포합니다.
이 백서의 주요 기여는 세 가지입니다. 첫째, 금융 데이터 세트에서 가져온 160억 단어로 구성된 대규모 금융 말뭉치를 큐레이션합니다. 둘째, 실험을 통해 지속적인 사전 학습을 통해 도메인별 LLM을 구축할 수 있다는 가능성을 입증하고, 소규모 언어 모델[8]에서 얻은 결과를 검증하고 확장하는 실험을 수행했습니다. 이 결과는 값비싼 처음부터의 사전 학습을 대신하여 더 낮은 비용으로 도메인별 LLM을 구축하기 위한 인사이트를 제공합니다. 연구 결과에 따르면 지속적인 사전 학습은 원래의 기반 모델과 동일한 범위의 성능을 유지합니다. 마지막으로, 일반적인 지속적 사전 학습에 대한 보다 효율적인 접근 방식으로 두 가지 효율적인 도메인 적응 지속적 사전 학습 방법을 제안합니다. 새로운 접근 방식은 도메인 적응 지속적 사전 학습의 비용의 일부로 더 나은 성능을 달성할 수 있는 데이터 선택 전략을 배포합니다.