Pretraining large language models.We consider the task of pretraining an autoregressive language model \(p_{\theta}\) via next-token predictions (Radford et al., 2018). The training dataset \(\mathcal{D}_{\textbf{train}}=\{\mathcal{D}_{i}\}_{i=1}^{M}\) composes \(M\) domains with mixture proportions \(\mathbf{r}\in\Delta^{M-1}\). In each training step, the task first samples a batch of domain indices according to the mixture proportions and then sample sequences of \(L\) tokens from the sampled domains.
대규모 언어 모델 Pretraining. 다음 토큰 예측을 통해 autoregressive language model \(p_{\theta}\)를 Pretraining하는 작업을 고려합니다(Radford et al., 2018). Training dataset \(\mathcal{D}_{\textbf{train}}=\{\mathcal{D}_{i}\}_{i=1}^{M}\)는 혼합 비율 \(\mathbf{r}\in\Delta^{M-1}\)를 가진 \(M\) 도메인으로 구성됩니다. 각 Training step에서 작업은 먼저 혼합 비율에 따라 도메인 인덱스 배치를 샘플링한 다음 샘플링된 도메인에서 \(L\) 토큰의 시퀀스를 샘플링합니다.
대규모 언어 모델 사전 학습다음 토큰 예측을 통해 자동 회귀 언어 모델 \(p_{\theta}\)를 사전 학습하는 작업을 고려합니다(Radford et al., 2018). 훈련 데이터 세트 \(\mathcal{D}_{\textbf{train}}=\{\mathcal{D}_{i}\}_{i=1}^{M}\)는 혼합 비율 \(\mathbf{r}\in\Delta^{M-1}\)를 가진 \(M\) 도메인으로 구성됩니다. 각 훈련 단계에서 작업은 먼저 혼합 비율에 따라 도메인 인덱스 배치를 샘플링한 다음 샘플링된 도메인에서 \(L\) 토큰의 시퀀스를 샘플링합니다.