We consider a **domain incremental learning** setting, where we train on a sequence of \(N\) future datasets \(\{\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\}\) each of which comes from a distinct domain. This setting is particularly challenging due to the distribution shift experience at the transition between each domain. Concretely, we consider dataset \(\mathcal{D}_{0}\) to be pre-training on the Pile (Gao et al., 2020) and \(\mathcal{D}_{1}\) to be pre-training on SlimPajama. However, instead of consuming the data in \(\mathcal{D}_{1}\) using the sampling percentages from table 1, we process the dataset one domain at a time starting from the largest domain to the smallest. This simulates a situation where new data is received from different domains at different times and we wish to update our models on the sequence while being robust to all distribution shifts.
각각 다른 도메인에서 나온 일련의 \(N\) 미래 데이터 집합 \(\{\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\}\)에 대해 학습하는 **domain incremental learning** 설정을 고려합니다. 이 설정은 각 도메인 간의 전환 시 경험하는 분포 이동으로 인해 특히 어렵습니다. 구체적으로, 데이터 집합 \(\mathcal{D}_{0}\)은 Pile(Gao et al., 2020)에 대한 사전 학습으로 간주하고 \(\mathcal{D}_{1}\)은 SlimPajama에 대한 사전 학습으로 간주합니다. 그러나 표 1의 샘플링 백분율을 사용하여 \(\mathcal{D}_{1}\)의 데이터를 소비하는 대신, 가장 큰 도메인부터 가장 작은 도메인까지 한 번에 하나의 도메인씩 데이터 집합을 처리합니다. 이는 서로 다른 도메인에서 새로운 데이터가 다른 시기에 수신되고 모든 분포 이동에 대한 강인성을 유지하면서 시퀀스에서 모델을 업데이트하고자 하는 상황을 시뮬레이션합니다.
각각 다른 도메인에서 나온 일련의 \(N\) 미래 데이터 집합 \(\{\mathcal{D}_{0},\mathcal{D}_{1},\dots,\mathcal{D}_{N-1}\}\)에 대해 학습하는 **도메인 증분 학습** 설정을 고려합니다. 이 설정은 각 도메인 간의 전환 시 경험하는 분포 이동으로 인해 특히 어렵습니다. 구체적으로, 데이터 집합 \(\mathcal{D}_{0}\)은 Pile(Gao et al., 2020)에 대한 사전 학습으로 간주하고 \(\mathcal{D}_{1}\)은 SlimPajama에 대한 사전 학습으로 간주합니다. 그러나 표 1의 샘플링 백분율을 사용하여 \(\mathcal{D}_{1}\)의 데이터를 소비하는 대신, 가장 큰 도메인부터 가장 작은 도메인까지 한 번에 하나의 도메인씩 데이터 집합을 처리합니다. 이는 서로 다른 도메인에서 새로운 데이터가 다른 시기에 수신되고 모든 분포 이동에 대한 강인성을 유지하면서 시퀀스에서 모델을 업데이트하고자 하는 상황을 시뮬레이션합니다.