Recent work shows that optimizers such as SGD and Adam have interesting knowledge retention properties in DNNs that could be beneficial at scale for CL (Lesort et al., 2023) and that just a small amount of replay could be sufficient to boost knowledge accumulation (Scialom et al., 2022). In this work, we want to benefit from the efficiency of those approaches in the context of large language models pretraining and boost them with the right learning rate scheduling and replay policy.
최근 연구에 따르면 SGD 및 Adam과 같은 Optimizer는 DNN에서 흥미로운 지식 유지 속성을 가지고 있으며, 이는 CL(Lesort et al., 2023)의 규모에서 유용할 수 있으며, 소량의 리플레이만으로도 지식 축적을 촉진하는 데 충분할 수 있다는 사실이 밝혀졌습니다(Scialom et al., 2022). 이 연구에서는 이러한 접근 방식의 효율성을 활용하여 적절한 Learning Rate 스케줄링과 리플레이 정책으로 대형 언어 모델 사전 학습을 강화하고자 합니다.
최근 연구에 따르면 SGD 및 Adam과 같은 최적화 도구는 DNN에서 흥미로운 지식 유지 속성을 가지고 있으며, 이는 CL(Lesort et al., 2023)의 규모에서 유용할 수 있으며, 소량의 리플레이만으로도 지식 축적을 촉진하는 데 충분할 수 있다는 사실이 밝혀졌습니다(Scialom et al., 2022). 이 연구에서는 이러한 접근 방식의 효율성을 활용하여 적절한 학습 속도 스케줄링과 리플레이 정책으로 대형 언어 모델 사전 학습을 강화하고자 합니다.