In this paper, we demonstrate the efficacy of domain-adaptive continual pre-training for developing domain-specific LLMs. Our results in the finance domain show that domain-adaptive continual pre-training improves the LLMs' performance on financial tasks. Domain-adaptive continual pre-training enables the LLMs to acquire new knowledge in the financial domain at a much lower cost.
이 논문에서는 도메인 적응 지속 사전 학습이 도메인 특화 LLM을 개발하는 데 효과적임을 입증합니다. 금융 도메인에서의 결과는 도메인 적응 지속 사전 학습이 금융 작업에서 LLM의 성능을 향상시킨다는 것을 보여줍니다. 도메인 적응 지속 사전 학습은 LLM이 금융 도메인에서 새로운 지식을 훨씬 낮은 비용으로 습득할 수 있게 합니다.
이 백서에서는 도메인별 LLM을 개발하기 위한 도메인 적응 지속적 사전 학습의 효과를 입증합니다. 금융 도메인에서의 결과는 도메인 적응 지속적 사전 학습이 금융 작업에서 LLM의 성능을 향상시킨다는 것을 보여줍니다. 도메인 적응 지속적 사전 학습을 통해 LLM은 훨씬 적은 비용으로 금융 도메인에서 새로운 지식을 습득할 수 있습니다.