We perform experiments with GPT-2 Large (\(\sim\) 774M params) (Radford et al., 2019) initially pre-trained on WebText and Wikipedia14 (\(D_{0}\)) and continually trained on CC-RecentNews-Small, i.e., Small (\(D_{1}\)) for 8 epochs. For continued pretraining, we use the common teacher-forcing pretraining objective. The initial learning rate for the continued pretraining stage is empirically chosen as 1e-4 (results with learning rate as 1e-3 are shown in Appendix G.1). After continued pretraining, we apply _light-tuning_, a process denoted for finetuning the model for only one epoch on a small portion of data similar to the evaluation set. Training on a single epoch constrains the model to barely adapt to the input-output form of the data and not to learn the knowledge in tuning samples, mitigating the problem suggested by Lewis et al. (2020).
먼저 WebText 및 Wikipedia14(\(D_{0}\))에서 사전 학습한 GPT-2 Large (\(\sim\) 774M 파라미터) (Radford et al., 2019)를 사용하여 실험을 수행하고, CC-RecentNews-Small, 즉 Small (\(D_{1}\))에서 8회 동안 연속 학습합니다. 지속적 사전 학습의 경우 일반적인 교사 강제 사전 학습 Objective를 사용합니다. 지속적인 사전 학습 단계의 초기 Learning Rate는 경험적으로 1e-4로 선택됩니다(Learning Rate가 1e-3인 결과는 부록 G.1에 나와 있습니다). 지속적인 사전 학습이 끝나면 평가 집합과 유사한 데이터의 작은 부분에 대해서만 한 번만 모델을 Fine-tuning하는 프로세스인 _light-tuning_을 적용합니다. 한 번의 Epoch에 대한 훈련은 모델이 데이터의 입력-출력 형태에 거의 적응하도록 제한하고 Fine-tuning 샘플의 지식을 학습하지 못하도록 하여 Lewis 등(2020)이 제안한 문제를 완화합니다.
먼저 WebText 및 Wikipedia14(\(D_{0}\))에서 사전 학습한 GPT-2 Large (\(\sim\) 774M 파라미터) (Radford et al., 2019)를 사용하여 실험을 수행하고, CC-RecentNews-Small, 즉 Small (\(D_{1}\))에서 8회 동안 연속 학습합니다. 지속적 사전 학습의 경우 일반적인 교사 강제 사전 학습 목표를 사용합니다. 지속적인 사전 학습 단계의 초기 학습 속도는 경험적으로 1e-4로 선택됩니다(학습 속도가 1e-3인 결과는 부록 G.1에 나와 있습니다). 지속적인 사전 학습이 끝나면 평가 집합과 유사한 데이터의 작은 부분에 대해서만 한 번만 모델을 미세 조정하는 프로세스인 _라이트 튜닝_을 적용합니다. 한 번의 에포크에 대한 훈련은 모델이 데이터의 입력-출력 형태에 거의 적응하도록 제한하고 튜닝 샘플의 지식을 학습하지 못하도록 하여 Lewis 등(2020)이 제안한 문제를 완화합니다.