Furthermore, despite showing the best performance overall, the drawbacks of parameter-expansion methods are also highlighted in the Small-P1\(\rightarrow\)Small-P2 setting; they require new parameters to be added at every phase of the update. For example, the number of total parameters of T5-Modular increases by 36M in every round of the continual pretraining phase. Likewise, considering a large number of CKL phases introduces new problems that should be additionally studied. Taking into account that LMs should be updated frequently with a small amount of data in real-world scenarios for gaining up-to-date world knowledge about the ever-changing world in a computation-effective manner, more research is needed to mitigate the amount of forgetting that follows the larger number of update phases.
또한, 전체적으로 가장 우수한 성능을 보여주었음에도 불구하고 매개변수 확장 방법의 단점은 Small-P1\(\rightarrow\)Small-P2 설정에서도 두드러집니다. 매개변수 확장 방법은 업데이트 단계마다 새로운 매개변수를 추가해야 합니다. 예를 들어, T5-Modular의 총 파라미터 수는 연속적인 사전 학습 단계의 모든 라운드에서 36M씩 증가합니다. 마찬가지로, 많은 수의 CKL 단계를 고려하면 추가로 연구해야 할 새로운 문제가 발생합니다. 끊임없이 변화하는 세상에 대한 최신 세계 지식을 습득하기 위해 실제 시나리오에서 LMs을 소량의 데이터로 자주 업데이트해야 한다는 점을 고려할 때, 더 많은 업데이트 단계에 따른 잊어버림을 완화하기 위한 더 많은 연구가 필요합니다.
또한, 전체적으로 가장 우수한 성능을 보여주었음에도 불구하고 매개변수 확장 방법의 단점은 Small-P1\(\우측수렴\)Small-P2 설정에서도 두드러집니다. 매개변수 확장 방법은 업데이트 단계마다 새로운 매개변수를 추가해야 합니다. 예를 들어, T5-Modular의 총 파라미터 수는 연속적인 사전 학습 단계의 모든 라운드에서 36M씩 증가합니다. 마찬가지로, 많은 수의 CKL 단계를 고려하면 추가로 연구해야 할 새로운 문제가 발생합니다. 끊임없이 변화하는 세상에 대한 최신 세계 지식을 습득하기 위해 실제 시나리오에서 LM을 소량의 데이터로 자주 업데이트해야 한다는 점을 고려할 때, 더 많은 업데이트 단계에 따른 잊어버림을 완화하기 위한 더 많은 연구가 필요합니다.