in learning rate of 1e-4 and increases for both lower and higher learning rates. We suppose that the optimal learning rate heavily depends on the corpus size of \(D_{1}\) and the model capacity of LM. We also report the performance of T5-Kadapters, which is a CKL method that shows robust performance throughout most experiments. Applying T5-Kadapters consistently mitigates the trade-off between forgetting and acquiring new knowledge as shown by the improvement in FUAR from the T5-Vanilla model with the same learning rates, although the level of effectiveness varies according to the value of the learning rate. We do not perform extensive experiments with each of the varying learning rates since searching for the optimal learning rate for each different continued pretraining setting may be out-of-scope with this research.
1e-4의 Learning Rate에서 증가하며, 더 낮거나 더 높은 Learning Rate 모두에 대해 증가합니다. 최적의 Learning Rate는 \(D_{1}\)의 말뭉치 크기와 LM의 모델 용량에 크게 의존한다고 가정합니다. 또한 대부분의 실험에서 강력한 성능을 보여주는 CKL 방법인 T5-Kadapters의 성능도 보고합니다. T5-Kadapters를 적용하면 Learning Rate 값에 따라 효과 수준은 다르지만 동일한 Learning Rate를 가진 T5-Vanilla 모델에서 FUAR가 개선되는 것처럼 새로운 지식을 잊어버리는 것과 습득하는 것 사이의 절충점을 일관되게 완화합니다. 이 연구에서는 각각의 다양한 Learning Rate에 대해 광범위한 실험을 수행하지 않지만, 각각의 다양한 Learning Rate에 대해 최적의 Learning Rate를 찾는 것은 이 연구의 범위를 벗어날 수 있습니다.
1e-4의 학습 속도에서 증가하며, 더 낮거나 더 높은 학습 속도 모두에 대해 증가합니다. 최적의 학습 속도는 \(D_{1}\)의 말뭉치 크기와 LM의 모델 용량에 크게 의존한다고 가정합니다. 또한 대부분의 실험에서 강력한 성능을 보여주는 CKL 방법인 T5-Kadapters의 성능도 보고합니다. T5-Kadapters를 적용하면 학습 속도 값에 따라 효과 수준은 다르지만 동일한 학습 속도를 가진 T5-Vanilla 모델에서 FUAR가 개선되는 것처럼 새로운 지식을 잊어버리는 것과 습득하는 것 사이의 절충점을 일관되게 완화합니다. 이 연구에서는 각각의 다양한 학습 속도에 대해 광범위한 실험을 수행하지 않지만, 각각의 다양한 학습 속도에 대해 최적의 학습 속도를 찾는 것은 이 연구의 범위를 벗어날 수 있습니다.