In future works, it would be interesting to study the impact of infinite learning rate schedules in continual learning setups with distribution shifts, and investigate the stability of training over large amounts of tokens with a long constant phase of the learning rate.
향후 연구에서는 분포 이동이 있는 지속 학습 설정에서 무한 Learning Rate 일정의 영향을 연구하고 Learning Rate의 일정한 위상이 긴 대량의 토큰에 대한 훈련의 안정성을 조사하는 것이 흥미로울 것이다.
향후 연구에서는 분포 이동이 있는 지속 학습 설정에서 무한 학습 속도 일정의 영향을 연구하고 학습 속도의 일정한 위상이 긴 대량의 토큰에 대한 훈련의 안정성을 조사하는 것이 흥미로울 것이다.