However, for the other datasets that cannot be performed in a zero-shot manner, the intermediate process of continually pretraining on corpus \(D_{1}\) does not seem to be that harmful on the finetuning for the target tasks even though they are more related to the knowledge of \(D_{0}\). Even T5-Vanilla shows modest performance, sometimes with better results than some other CKL baselines. One hypothesis is that the models could have regained the original knowledge from corpus \(D_{0}\) through the finetuning process. Also, some of the knowledge could have been recovered through the test-train overlap (Lewis et al., 2020; Wang et al., 2021).
그러나 zero-shot 방식으로 수행할 수 없는 다른 데이터 세트의 경우, 코퍼스 \(D_{1}\)에 대한 사전 학습을 지속적으로 수행하는 중간 과정은 대상 작업에 대한 Fine-tuning에 해가 되지 않는 것으로 보이며, 이는 \(D_{0}\)의 지식과 더 관련이 있더라도 마찬가지입니다. T5-Vanilla도 다른 일부 CKL 베이스라인보다 더 나은 성능을 보이는 경우가 있습니다. 한 가지 가설은 모델이 Fine-tuning 과정을 통해 코퍼스 \(D_{0}\)의 원래 지식을 되찾았을 수 있다는 것입니다. 또한 일부 지식은 테스트-훈련 중복(Lewis et al., 2020; Wang et al., 2021)을 통해 복구되었을 수도 있습니다.
그러나 제로 샷 방식으로 수행할 수 없는 다른 데이터 세트의 경우, 코퍼스 \(D_{1}\)에 대한 사전 학습을 지속적으로 수행하는 중간 과정은 대상 작업에 대한 미세 조정에 해가 되지 않는 것으로 보이며, 이는 \(D_{0}\)의 지식과 더 관련이 있더라도 마찬가지입니다. T5-Vanilla도 다른 일부 CKL 베이스라인보다 더 나은 성능을 보이는 경우가 있습니다. 한 가지 가설은 모델이 미세 조정 과정을 통해 코퍼스 \(D_{0}\)의 원래 지식을 되찾았을 수 있다는 것입니다. 또한 일부 지식은 테스트-훈련 중복(Lewis et al., 2020; Wang et al., 2021)을 통해 복구되었을 수도 있습니다.