BaselinesWe also train several baselines. Two baselines are trained on \(\mathcal{D}_{0}\) and \(\mathcal{D}_{1}\) respectively while the third is trained on the union of each dataset \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\). We consider the model trained on \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\) to be an upper bound on performance as it represents an expensive full re-training. The baselines trained on individual datasets can be seen as compute-equivalent alternatives to continual pre-training (e.g., one could opt to train a model from random initialization on \(\mathcal{D}_{1}\) instead of continually pre-training it).
베이스라인또한 여러 baselines를 훈련합니다. 두 개의 baselines는 각각 \(\mathcal{D}_{0}\) 및 \(\mathcal{D}_{1}\)에 대해 훈련되며, 세 번째 baseline은 각 데이터 집합의 합집합 \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 훈련됩니다. \(\mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 학습된 모델은 전체 재학습에 대한 비용이 많이 드는 상한선으로 간주할 수 있습니다. 개별 데이터 세트에 대해 학습된 baselines는 지속적인 사전 학습에 대한 컴퓨팅에 해당하는 대안으로 볼 수 있습니다(예: 지속적으로 사전 학습하는 대신 \(\mathcal{D}_{1}\)에서 무작위 초기화로부터 모델을 학습하는 것을 선택할 수 있습니다).
베이스라인또한 여러 베이스라인을 훈련합니다. 두 개의 베이스라인은 각각 \(mathcal{D}_{0}\) 및 \(mathcal{D}_{1}\)에 대해 훈련되며, 세 번째 베이스라인은 각 데이터 집합의 합집합 \(mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 훈련됩니다. mathcal{D}_{0}\cup\mathcal{D}_{1}\)에 대해 학습된 모델은 전체 재학습에 대한 비용이 많이 드는 상한선으로 간주할 수 있습니다. 개별 데이터 세트에 대해 학습된 베이스라인은 지속적인 사전 학습에 대한 컴퓨팅에 해당하는 대안으로 볼 수 있습니다(예: 지속적으로 사전 학습하는 대신 \(\mathcal{D}_{1}\)에서 무작위 초기화로부터 모델을 학습하는 것을 선택할 수 있습니다).