Our domain-adaptive continual pre-training can be viewed from the lens of unsupervised domain adaptation [7]. Our source data is the large unsupervised domain corpus, while the target data is the target task data. With pre-training, we do not have control over the alignment with task training data itself; our idea is that by aligning with the domain during pre-training, we could align the LLM with the task. This intuition is backed by evidence of LLM pre-training helping the performance over open domain tasks. We use the generalization bound from [7; 2] since our problem is similar to unsupervised domain adaptation. Consider a hypothesis space \(\mathcal{H}_{p}\) with \(f\in\mathcal{H}_{p}\); generalization errors on source \(\mathcal{D}\) and task data \(\mathcal{T}\) as \(\epsilon_{\mathcal{D}}\) and \(\epsilon_{\mathcal{T}}\), respectively.
우리의 도메인 적응 지속 사전 학습은 비지도 도메인 적응 [7]의 관점에서 볼 수 있습니다. 우리의 소스 데이터는 대규모 비지도 도메인 코퍼스이고, 타겟 데이터는 타겟 작업 데이터입니다. 사전 학습을 통해 작업 훈련 데이터 자체와의 정렬을 제어할 수는 없지만, 사전 학습 중 도메인과의 정렬을 통해 LLM을 작업과 정렬시킬 수 있다는 아이디어입니다. 이 직관은 LLM 사전 학습이 오픈 도메인 작업의 성능을 향상시키는 데 도움이 된다는 증거로 뒷받침됩니다. 우리의 문제는 비지도 도메인 적응과 유사하기 때문에 [7; 2]의 일반화 경계를 사용합니다. 가설 공간 \(\mathcal{H}_{p}\)에서 \(f\in\mathcal{H}_{p}\)를 고려하고, 소스 \(\mathcal{D}\)와 작업 데이터 \(\mathcal{T}\)에 대한 일반화 오류를 각각 \(\epsilon_{\mathcal{D}}\)와 \(\epsilon_{\mathcal{T}}\)로 나타냅니다.
우리의 도메인 적응 지속적 사전 학습은 비지도 도메인 적응[7]의 렌즈를 통해 볼 수 있습니다. 소스 데이터는 대규모 비지도 도메인 코퍼스이고, 대상 데이터는 대상 작업 데이터입니다. 사전 학습을 통해 작업 학습 데이터 자체와의 정렬을 제어할 수 없으며, 사전 학습 중에 도메인과 정렬함으로써 LLM을 작업과 정렬할 수 있다는 아이디어가 있습니다. 이러한 직관은 LLM 사전 학습이 오픈 도메인 작업의 성능에 도움이 된다는 증거에 의해 뒷받침됩니다. 우리의 문제는 비지도 도메인 적응과 유사하기 때문에 [7; 2]의 일반화 바운드를 사용합니다. 가설 공간 \(\mathcal{H}_{p}\)에서 \(f\in\mathcal{H}_{p}\), 소스 \(\mathcal{D}\) 및 작업 데이터 \(\mathcal{T}\)에 대한 일반화 오류를 각각 \(\epsilon_{\mathcal{D}}\) 및 \(\epsilon_{\mathcal{T}}\)로 간주합니다.