respectively. We compare how CKL methods for T5 perform on IL, NLE\({}_{\text{P1}}\), and NLE\({}_{\text{P2}}\) when continually pretrained entirely on Small for 5k steps (8 epochs), and when sequentially pretrained on Small-P1 and then on Small-P2 for 2.5k steps (8 epochs) each. In the scenario Small-P1\(\rightarrow\)Small-P2, there are two CKL phases where \(D_{0}\) is C4 and Wikipedia, \(D_{1}\) is Small-P1, and \(D_{2}\) is Small-P2. The rest of the configurations are set identical with the main experiments.
각각. 우리는 T5에 대한 CKL 방법이 Small에서 5k 스텝(8 에포크) 동안 완전히 지속적으로 사전 훈련되었을 때와 Small-P1에서 먼저 사전 훈련된 후 Small-P2에서 각각 2.5k 스텝(8 에포크) 동안 순차적으로 사전 훈련되었을 때 IL, NLE\({}_{\text{P1}}\), NLE\({}_{\text{P2}}\)에서 어떻게 수행되는지 비교합니다. Small-P1\(\rightarrow\)Small-P2 시나리오에서는 \(D_{0}\)가 C4와 Wikipedia, \(D_{1}\)가 Small-P1, \(D_{2}\)가 Small-P2인 두 개의 CKL 단계가 있습니다. 나머지 구성은 주요 실험과 동일하게 설정됩니다.
각각입니다. 5k 단계(8회) 동안 Small에 완전히 사전 학습하고, Small-P1에 사전 학습한 다음 Small-P2에 각각 2.5k 단계(8회) 동안 순차적으로 사전 학습할 때 T5용 CKL 방법이 IL, NLE\({}_{\text{P1}}\), NLE\({}_{\text{P2}}\)에서 어떻게 성능을 발휘하는지 비교합니다. Small-P1\(\rightarrow\)Small-P2 시나리오에서는 \(D_{0}\)가 C4이고 위키피디아, \(D_{1}\)가 Small-P1이고 \(D_{2}\)가 Small-P2인 두 개의 CKL 단계가 있습니다. 나머지 구성은 주요 실험과 동일하게 설정합니다.