A more surprising finding is that the performance of some of the parameter-expansion methods are even higher than that of T5-Initial, which is considered to be the upper bound for KILT because T5-Initial is only trained on behalf of the knowledge from \(D_{0}\). For example, T5-Modular shows higher scores than T5-Initial on 6 out of 11 tasks. Since the parameter-expansion methods force the model to store the new knowledge in the newly added parameters during continual pretraining, one careful conjecture is these LMs have learned to combine and utilize in its internal representation of both old and new knowledge stored in separate parameters during finetuning to maximize the performance.
더 놀라운 발견은 일부 매개변수 확장 방법의 성능이 T5-Initial보다 훨씬 높다는 것입니다. T5-Initial은 \(D_{0}\)의 지식을 대신하여만 학습하기 때문에 KILT의 상한선으로 간주되기 때문입니다. 예를 들어, T5-Modular은 11개의 작업 중 6개에서 T5-Initial보다 높은 점수를 보여줍니다. 매개변수 확장 방법은 지속적인 사전 학습 중에 모델이 새 지식을 새로 추가된 매개변수에 저장하도록 강제하기 때문에, 한 가지 주의 깊은 추측은 이러한 LMs이 최적화를 위해 Fine-tuning 중에 별도의 매개변수에 저장된 이전 지식과 새 지식을 모두 내부 표현으로 결합하고 활용하는 방법을 학습했다는 것입니다.
더 놀라운 발견은 일부 매개변수 확장 방법의 성능이 T5-Initial보다 훨씬 높다는 것입니다. T5-Initial은 \(D_{0}\)의 지식을 대신하여만 학습하기 때문에 KILT의 상한선으로 간주되기 때문입니다. 예를 들어, T5-Modular은 11개의 작업 중 6개에서 T5-Initial보다 높은 점수를 보여줍니다. 매개변수 확장 방법은 지속적인 사전 학습 중에 모델이 새 지식을 새로 추가된 매개변수에 저장하도록 강제하기 때문에, 한 가지 주의 깊은 추측은 이러한 LM이 최적화를 위해 미세 조정 중에 별도의 매개변수에 저장된 이전 지식과 새 지식을 모두 내부 표현으로 결합하고 활용하는 방법을 학습했다는 것입니다.