Pretraining ConfigurationWe utilize the T5 initially pretrained on C4 (April 2019) and continually pretrained with salient span masking (Guu et al., 2020) on Wikipedia (May 2020) as initialization. We use the checkpoints from Wolf et al. (2020). We also perform the SSM objective during CKL because it was shown to help LMs "focus on problems that require world knowledge" (Guu et al., 2020; Roberts et al., 2020).
사전 학습 구성. 우리는 C4(2019년 4월)에 대해 처음 Pretraining하고 위키피디아(2020년 5월)에서 salient span masking(Guu et al., 2020)을 통해 지속적으로 Pretraining한 T5를 초기화로 활용합니다. Wolf et al.(2020)의 체크포인트를 사용합니다. 또한 CKL 중에 SSM objective를 수행하는데, 이는 LM이 "세계 지식이 필요한 문제에 집중"하도록 돕는 것으로 나타났기 때문입니다(Guu et al., 2020; Roberts et al., 2020).
사전 학습 구성C4(2019년 4월)에 대해 처음 사전 학습하고 위키피디아(2020년 5월)에서 눈에 띄는 범위 마스킹(Guu et al., 2020)을 통해 지속적으로 사전 학습한 T5를 초기화로 활용합니다. Wolf et al.(2020)의 체크포인트를 사용합니다. 또한 CKL 중에 SSM 목표를 수행하는데, 이는 LM이 "세계 지식이 필요한 문제에 집중"하도록 돕는 것으로 나타났기 때문입니다(Guu et al., 2020; Roberts et al., 2020).