Task-adaptive pre-training.Continual pre-training of language models on unlabeled data for a given task has been demonstrated to be beneficial for enhancing end-task performance [1; 8; 13]. In scenarios involving domain shift, domain-adaptive pre-training bears similarities to task-adaptive pre-training to some extent. Aharoni et al [1] documented that continual pre-training a model on a similar domain contributes to improved task performance on the target domain. Notably, the work closest to ours is presented in [8], which shows that continual pre-training of language models on both unlabeled task data and augmented unlabeled task data, sampled from the in-domain corpus based on similarity. While these works use task data, we also propose a task agnostic method, ETA-DACP, as task similarity is prohibitively expensive for LLMs.
과제 적응형 사전 학습. 주어진 과제에 대해 비표시 데이터로 언어 모델을 지속적으로 사전 학습하는 것이 최종 과제 성능을 향상시키는 데 유익하다는 것이 입증되었습니다 [1; 8; 13]. 도메인 이동이 포함된 시나리오에서는 도메인 적응형 사전 학습이 어느 정도 과제 적응형 사전 학습과 유사합니다. Aharoni 등 [1]은 유사한 도메인에서 모델을 지속적으로 사전 학습하는 것이 대상 도메인에서의 과제 성능을 향상시키는 데 기여한다고 기록했습니다. 특히, 우리 연구와 가장 가까운 작업은 [8]에 제시되어 있으며, 이는 유사성에 기반하여 도메인 내 말뭉치에서 샘플링된 비표시 과제 데이터와 증강된 비표시 과제 데이터 모두에서 언어 모델을 지속적으로 사전 학습하는 것을 보여줍니다. 이러한 연구들이 과제 데이터를 사용하는 반면, 우리는 과제 유사성이 LLMs에 대해 지나치게 비용이 많이 들기 때문에 과제 비종속적인 방법인 ETA-DACP를 제안합니다.
작업 적응형 사전 학습.주어진 작업에 대해 레이블이 없는 데이터에 대한 언어 모델의 지속적인 사전 학습은 최종 작업 성능 향상에 도움이 되는 것으로 입증되었습니다[1; 8; 13]. 도메인 시프트가 포함된 시나리오에서 도메인 적응형 사전 학습은 어느 정도 작업 적응형 사전 학습과 유사합니다. Aharoni 등[1]은 유사한 도메인에 대한 모델의 지속적인 사전 학습이 대상 도메인에서의 작업 성능 향상에 기여한다고 문서화했습니다. 특히, 우리와 가장 유사한 작업은 [8]에 제시된 것으로, 유사도를 기반으로 도메인 내 말뭉치에서 샘플링한 레이블이 없는 작업 데이터와 증강된 레이블이 없는 작업 데이터 모두에 대해 언어 모델을 지속적으로 사전 학습하는 것을 보여줍니다. 이러한 작업에서는 작업 데이터를 사용하지만, LLM의 경우 작업 유사성이 너무 비싸기 때문에 작업에 구애받지 않는 방법인 ETA-DACP도 제안합니다.