We perform extensive experiments with an encoder-decoder model, T5 (Raffel et al., 2019), a large LM (\(\sim\) 737M params) initially pretrained on April 2019 dump of C4 and May 2020 dump of Wikipedia (thus \(D_{0}\) in our experiments) with salient span masking (SSM). The details of the pretraining, continual pretraining, and evaluation configurations are in Appendix C. We establish the following methods as the baselines for the CKL benchmark and categorize them into _regularization_, _rehearsal_, and _parameter-expansion_ methods. The specific hyperparamters used for the implementation of each method are detailed in Appendix D.
인코더-디코더 모델인 T5(Raffel et al., 2019)로 광범위한 실험을 수행하는데, 이 모델은 2019년 4월 C4 덤프와 2020년 5월 위키피디아 덤프(따라서 실험에서 \(D_{0}\))에 대해 미리 학습된 대규모 LM(\(\sim\) 737M 파라미터)로, salient span masking (SSM)을 통해 학습합니다. Pretraining, continual pretraining 및 평가 구성에 대한 자세한 내용은 부록 C에 나와 있습니다. CKL 벤치마크의 기준이 되는 방법을 다음과 같이 설정하고 _regularization_, _rehearsal_, _parameter-expansion_ 방법으로 분류합니다. 각 방법의 구현에 사용된 구체적인 hyperparameter는 부록 D에 자세히 설명되어 있습니다.
인코더-디코더 모델인 T5(Raffel et al., 2019)로 광범위한 실험을 수행하는데, 이 모델은 2019년 4월 C4 덤프와 2020년 5월 위키피디아 덤프(따라서 실험에서 \(D_{0}\))에 대해 미리 학습된 대규모 LM(\(\sim\) 737M 파라미터)로, 눈에 띄는 스팬 마스킹(SSM)을 통해 학습합니다. 사전 학습, 지속적 사전 학습 및 평가 구성에 대한 자세한 내용은 부록 C에 나와 있습니다. CKL 벤치마크의 기준이 되는 방법을 다음과 같이 설정하고 _정규화_, _리허설_, _파라미터 확장_ 방법으로 분류합니다. 각 방법의 구현에 사용된 구체적인 하이퍼파라미터는 부록 D에 자세히 설명되어 있습니다.