We stipulate that we can form an optimal set \(\mathcal{D}^{*}\) by selecting a portion of the domain data that is much closer to the task data (red) given by the blue region based on intuition before. We refer to this as _Efficient Task-Similar Domain-adaptive Continual Pre-training_ (ETS-DACP). Fine-tuning LLMs can take a good amount of instructions, which are quite costly to create. ETS-DACP directly addresses this situation by using the relatively limited unlabeled task data to sample similar samples from the larger pool of pre-training domain corpus. We are motivated by prior research showing that unsupervised training on tokens that closely align with the target domain and tasks can lead to improved performance [8, 1, 6]. Therefore, we hypothesize that continual pre-training LLMs on the unlabeled task data can be beneficial for target task performance as it adapts the model to the distribution of task tokens.
우리는 앞서 직관에 기반하여 주어진 작업 데이터(파란색 영역에 의해 파란색)에 훨씬 더 가까운 도메인 데이터의 일부를 선택하여 최적의 집합(\(\mathcal{D}^{*}\))을 형성할 수 있다고 규정합니다. 이를 _Efficient Task-Similar Domain-adaptive Continual Pre-training_ (ETS-DACP)이라고 합니다. Fine-tuning LLMs는 상당한 양의 Instructions가 필요하며, 이는 제작 비용이 상당히 많이 듭니다. ETS-DACP는 상대적으로 제한된 미분류 작업 데이터를 사용하여 더 큰 사전 학습 도메인 코퍼스 풀에서 유사한 샘플을 샘플링함으로써 이러한 상황을 직접적으로 해결합니다. 이는 대상 도메인 및 작업과 밀접하게 일치하는 토큰에 대한 비지도 학습이 성능 향상으로 이어질 수 있다는 선행 연구에 의해 동기를 부여받았습니다[8, 1, 6]. 따라서 미분류 작업 데이터에 대한 LLM의 지속적인 사전 학습은 모델을 작업 토큰의 분포에 맞게 조정할 수 있으므로 대상 작업 성능에 도움이 될 수 있다는 가설을 세웁니다.
우리는 앞서 직관에 기반하여 주어진 작업 데이터(파란색 영역에 의해 파란색)에 훨씬 더 가까운 도메인 데이터의 일부를 선택하여 최적의 집합(\mathcal{D}*)을 형성할 수 있다고 규정합니다. 이를 _효율적인 작업 유사 도메인 적응 지속적 사전 학습_(ETS-DACP)이라고 합니다. LLM을 미세 조정하려면 상당한 양의 지침이 필요하며, 이는 제작 비용이 상당히 많이 듭니다. ETS-DACP는 상대적으로 제한된 미분류 작업 데이터를 사용하여 더 큰 사전 학습 도메인 코퍼스 풀에서 유사한 샘플을 샘플링함으로써 이러한 상황을 직접적으로 해결합니다. 이는 대상 도메인 및 작업과 밀접하게 일치하는 토큰에 대한 비지도 학습이 성능 향상으로 이어질 수 있다는 선행 연구에 의해 동기를 부여받았습니다[8, 1, 6]. 따라서 미분류 작업 데이터에 대한 LLM의 지속적인 사전 학습은 모델을 작업 토큰의 분포에 맞게 조정할 수 있으므로 대상 작업 성능에 도움이 될 수 있다는 가설을 세웁니다.