Our findings place domain continual pre-training as a strong alternative to building domain-specific LLMs from scratch. By being smarter about data selection for continual pre-training, we can surpass vanilla continual pre-training at a fraction of the cost. Overall, our work paves the way for developing domain-specific LLMs at a reduced cost, with implications for a wide range of applications.
우리의 연구 결과는 도메인 지속적 사전 학습을 처음부터 도메인별 Large Language Models (LLMs)을 구축하는 것에 대한 강력한 대안으로 제시합니다. 지속적인 사전 학습을 위해 데이터 선택에 대해 더 스마트하게 접근함으로써, 우리는 극히 일부의 비용으로 바닐라 지속적 사전 학습을 능가할 수 있습니다. 전반적으로, 우리의 연구는 다양한 애플리케이션에 영향을 미치는 감소된 비용으로 도메인별 LLM을 개발할 수 있는 길을 열었습니다.
우리의 연구 결과는 도메인 지속적 사전 학습을 처음부터 도메인별 LLM을 구축하는 것에 대한 강력한 대안으로 제시합니다. 지속적인 사전 학습을 위해 데이터 선택에 대해 더 스마트하게 접근함으로써, 우리는 극히 일부의 비용으로 바닐라 지속적 사전 학습을 능가할 수 있습니다. 전반적으로, 우리의 연구는 다양한 애플리케이션에 영향을 미치는 감소된 비용으로 도메인별 LLM을 개발할 수 있는 길을 열었습니다.