Continual Pretraining ConfigurationsThe input and output sequence length is fixed to 350. We use gradient accumulation for cases where the same number of training batches could not be loaded on the GPUs due to the varying memory consumption required for different methods and set the global batch size to 60. We use Adafactor optimizer with an initial learning rate of 1e-3. We show the effects of learning rate variation regarding the trade-off between maintaining previous knowledge and acquiring new knowledge in Appendix E. We use learning rate warm-up for the first 10% of training and linearly decay the learning rate to half of the initial learning rate towards the end of training. For all of the experiments, we use 4 32GB V100 GPUs for training with each method except Mix-Review, where we use 16 32GB V100 GPUs. The details of the configurations used for evaluation on each individual CKL task are provided in Appendix C.
지속적인 사전 학습 구성입력 및 출력 시퀀스 길이는 350으로 고정됩니다. 서로 다른 방법에 필요한 다양한 메모리 소비로 인해 동일한 수의 훈련 배치를 GPU에 로드할 수 없는 경우를 위해 gradient accumulation을 사용하고 global batch size를 60으로 설정합니다. 초기 learning rate가 1e-3인 Adafactor optimizer를 사용합니다. 이전 지식을 유지하는 것과 새로운 지식을 습득하는 것 사이의 절충점과 관련하여 learning rate 변화의 효과를 부록 E에 보여줍니다. 훈련의 처음 10% 동안 learning rate warm-up을 사용하고 훈련이 끝날 때 초기 learning rate의 절반으로 선형적으로 learning rate를 감소시킵니다. 모든 실험에서 4개의 32GB V100 GPU를 사용하여 훈련하고, 16개의 32GB V100 GPU를 사용하는 Mix-Review를 제외한 모든 방법을 사용합니다. 각 개별 CKL 작업에 대한 평가에 사용된 구성의 세부 사항은 부록 C에 제공됩니다.
지속적인 사전 학습 구성입력 및 출력 시퀀스 길이는 350으로 고정됩니다. 서로 다른 방법에 필요한 다양한 메모리 소비로 인해 동일한 수의 훈련 배치를 GPU에 로드할 수 없는 경우를 위해 그라디언트 누적을 사용하고 전역 배치 크기를 60으로 설정합니다. 초기 학습률이 1e-3인 Adafactor 옵티마이저를 사용합니다. 이전 지식을 유지하는 것과 새로운 지식을 습득하는 것 사이의 절충점과 관련하여 학습률 변화의 효과를 부록 E에 보여줍니다. 훈련의 처음 10% 동안 학습률 워밍업을 사용하고 훈련이 끝날 때 초기 학습률의 절반으로 선형적으로 학습률을 감소시킵니다. 모든 실험에서 4개의 32GB V100 GPU를 사용하여 훈련하고, 16개의 32GB V100 GPU를 사용하는 Mix-Review를 제외한 모든 방법을 사용합니다. 각 개별 CKL 작업에 대한 평가에 사용된 구성의 세부 사항은 부록 C에 제공됩니다.