Table 7 shows that lowering the learning rate for the continual pretraining leads to less forgetting of the original knowledge, but also less learning of new knowledge. The experiments are done under the setting of Small scenario in Table 3.
표 7은 지속적인 사전 학습을 위해 Learning Rate를 낮추면 원래 지식의 잊어버림은 줄어들지만 새로운 지식의 학습도 줄어든다는 것을 보여줍니다. 이 실험은 표 3의 Small 시나리오 설정에서 수행되었습니다.
표 7은 지속적인 사전 학습을 위해 학습 속도를 낮추면 원래 지식의 잊어버림은 줄어들지만 새로운 지식의 학습도 줄어든다는 것을 보여줍니다. 이 실험은 표 3의 Small 시나리오 설정에서 수행되었습니다.