Domain specific large language models.While the majority of released LLMs are general-purpose models, domain-specific LLMs have emerged as valuable counterparts. Google's MedPaLM and MedPaLM-2, trained on a medical domain corpus, achieved state-of-the-art results on medical benchmarks [23; 24]. Bloomberg developed the first financial LLM from scratch by training on a financial corpus [31] while Galactica was developed for scientific domains [26]. Continual pre-training presents an alternative approach to building domain-specific LLMs from scratch.
도메인별 Large Language Models (LLMs). 출시된 대부분의 LLM은 범용 모델이지만, 도메인별 LLM이 유용한 대안으로 부상하고 있습니다. 의료 도메인 말뭉치로 학습된 Google's MedPaLM과 MedPaLM-2는 의료 벤치마크에서 최첨단 결과를 달성했습니다[23; 24]. Bloomberg는 금융 말뭉치로 학습하여 처음으로 금융 LLM을 처음부터 개발했으며[31], Galactica는 과학 도메인을 위해 개발되었습니다[26]. 지속적인 사전 학습은 처음부터 도메인별 LLM을 구축하는 대안적인 접근 방식을 제시합니다.
도메인별 대규모 언어 모델.출시된 대부분의 LLM은 범용 모델이지만, 도메인별 LLM이 유용한 대안으로 부상하고 있습니다. 의료 도메인 말뭉치로 학습된 Google의 MedPaLM과 MedPaLM-2는 의료 벤치마크에서 최첨단 결과를 달성했습니다[23; 24]. 블룸버그는 금융 말뭉치로 학습하여 처음으로 금융 LLM을 처음부터 개발했으며[31], 갈락티카는 과학 도메인을 위해 개발되었습니다[26]. 지속적인 사전 학습은 처음부터 도메인별 LLM을 구축하는 대안적인 접근 방식을 제시합니다.