The primary limitation of TACP lies in its focus on constructing task-specific LLMs instead of foundation LLMs, owing to the sole use of unlabeled task data for training. While DACP uses a much larger domain corpus, it is prohibitively expensive. To address these limitations, we propose two approaches: _Efficient Task-Similar Domain-Adaptive Continual Pre-training_ (ETS-DACP) and _Efficient Task-Agnostic Domain-Adaptive Continual Pre-training_ (ETA-DACP). While ETS-DACP aims to build foundation LLMs for a set of tasks by tailoring the DACP to emphasize the significance of these tasks, ETA-DACP is more general and selects the most informative samples from the domain corpus for continual pre-training.
TACP의 주요 한계는 학습을 위해 라벨이 없는 작업 데이터만 사용하기 때문에 foundation LLM이 아닌 작업별 LLM을 구축하는 데 초점을 맞추고 있다는 점입니다. DACP는 훨씬 더 큰 도메인 코퍼스를 사용하지만, 비용이 엄청나게 많이 듭니다. 이러한 한계를 해결하기 위해 _Efficient Task-Similar Domain-Adaptive Continual Pre-training_ (ETS-DACP)과 _Efficient Task-Agnostic Domain-Adaptive Continual Pre-training_ (ETA-DACP)이라는 두 가지 접근 방식을 제안합니다. ETS-DACP는 이러한 작업의 중요성을 강조하기 위해 DACP를 조정하여 일련의 작업에 대한 foundation LLM을 구축하는 것을 목표로 하는 반면, ETA-DACP는 보다 일반적이며 지속적인 사전 학습을 위해 도메인 코퍼스에서 가장 유익한 샘플을 선택합니다.
TACP의 주요 한계는 학습을 위해 라벨이 없는 작업 데이터만 사용하기 때문에 기반 LLM이 아닌 작업별 LLM을 구축하는 데 초점을 맞추고 있다는 점입니다. DACP는 훨씬 더 큰 도메인 코퍼스를 사용하지만, 비용이 엄청나게 많이 듭니다. 이러한 한계를 해결하기 위해 _효율적인 작업 유사 도메인 적응 지속적 사전 학습_(ETS-DACP)과 _효율적인 작업 비동의 도메인 적응 지속적 사전 학습_(ETA-DACP)이라는 두 가지 접근 방식을 제안합니다. ETS-DACP는 이러한 작업의 중요성을 강조하기 위해 DACP를 조정하여 일련의 작업에 대한 기반 LLM을 구축하는 것을 목표로 하는 반면, ETA-DACP는 보다 일반적이며 지속적인 사전 학습을 위해 도메인 코퍼스에서 가장 유익한 샘플을 선택합니다.