We first find that all of the CKL methods except for T5-MixReview are more effective at forgetting less time-invariant knowledge while updating and acquiring new knowledge than using the naive approach of T5-Vanilla as shown by the FUAR. This result also highlights the main difference between CKL and CL; while rehearsal methods show strong performances in traditional CL settings (Prabhu et al., 2020; Bang et al., 2021), in CKL, it shows the worst performance since the update of outdated knowledge and acquisition of new knowledge is severely deterred as shown in the performance of UL and NL while not showing competitive mitigation of forgetting as shown in the performance of IL compared to other CKL methods. Amongst the other CKL methods, we observe a rather consistent trend that the parameter-expansion methods achieve better results. The first and second-best results on all of UL, NL, and NLE are all from parameter-expansion methods. Meanwhile, although UL and NL are constructed following the same procedure, there is a huge difference between the EM scores of UL and NL. We analyze the source of this difference in Appendix I.
먼저, T5-MixReview를 제외한 모든 CKL 방법이 T5-Vanilla의 순진한 접근 방식을 사용하는 것보다 FUAR에서 볼 수 있듯이 새로운 지식을 업데이트하고 습득하는 동안 시간에 따라 변하지 않는 지식을 잊어버리는 데 더 효과적이라는 것을 알 수 있습니다. 이 결과는 또한 CKL과 CL의 주요 차이점을 강조합니다. 기존 CL 환경(Prabhu et al., 2020; Bang et al., 2021)에서는 rehearsal 방법이 강력한 성능을 보이지만, CKL에서는 다른 CKL 방법과 비교하여 IL의 성능에서 볼 수 있듯이 잊어버림을 경쟁적으로 완화하지 못하기 때문에 오래된 지식을 업데이트하고 새로운 지식을 습득하는 것이 심각하게 저해되기 때문에 최악의 성능을 보임을 보여줍니다. 다른 CKL 방법 중에서도 parameter-expansion 방법이 더 나은 결과를 얻는다는 다소 일관된 추세를 관찰할 수 있습니다. UL, NL 및 NLE 모두에서 1, 2위를 차지한 결과는 모두 parameter-expansion 방법에서 나온 것입니다. 한편, UL과 NL은 동일한 절차에 따라 구성되었지만 UL과 NL의 EM 점수에는 큰 차이가 있습니다. 이 차이의 원인을 부록 I에서 분석합니다.
먼저, T5-MixReview를 제외한 모든 CKL 방법이 T5-Vanilla의 순진한 접근 방식을 사용하는 것보다 FUAR에서 볼 수 있듯이 새로운 지식을 업데이트하고 습득하는 동안 시간에 따라 변하지 않는 지식을 잊어버리는 데 더 효과적이라는 것을 알 수 있습니다. 이 결과는 또한 CKL과 CL의 주요 차이점을 강조합니다. 기존 CL 환경(Prabhu et al., 2020; Bang et al., 2021)에서는 리허설 방법이 강력한 성능을 보이지만, CKL에서는 다른 CKL 방법과 비교하여 IL의 성능에서 볼 수 있듯이 잊어버림을 경쟁적으로 완화하지 못하기 때문에 오래된 지식을 업데이트하고 새로운 지식을 습득하는 것이 심각하게 저해되기 때문에 최악의 성능을 보임을 보여줍니다. 다른 CKL 방법 중에서도 파라미터 확장 방법이 더 나은 결과를 얻는다는 다소 일관된 추세를 관찰할 수 있습니다. UL, NL 및 NLE 모두에서 1, 2위를 차지한 결과는 모두 파라미터 확장 방법에서 나온 것입니다. 한편, UL과 NL은 동일한 절차에 따라 구성되었지만 UL과 NL의 EM 점수에는 큰 차이가 있습니다. 이 차이의 원인을 부록 I에서 분석합니다.