Several studies have examined the impact of different learning rate (LR) schedules on the training stability and final performance of neural networks. Goyal et al. (2018) found that a gradual warm-up of LR early onin training can help overcome optimization challenges, particularly with large mini-batch sizes. Additionally, Popel and Bojar (2018) emphasized the importance of a warm-up stage when training Post-LN Transformers. On the other hand, Xiong et al. (2020) discovered that Pre-LN Transformers are more stable and may not require a warm-up stage. You et al. (2019) explored the role of the LR decay and found that a large initial LR prevents the network from memorizing noisy data, whereas a small LR helps learn complex patterns. Kaplan et al. (2020) explored LR schedules for pre-training Large Language Models (LLMs) and found that schedule choice did not significantly impact performance. Correcting this erroneous finding, Hoffmann et al. (2022) found that the LR schedule does play an important role. Hoffmann et al. (2022) and Rae et al. (2021) established best practices for using a cosine schedule when pre-training LLMs, which have become widely adopted. In contrast, Raffel et al. (2023) and Zhai et al. (2022) explore LR schedules that follow the inverse square root decay for large-scale pre-training. Raffel et al. (2023) utilized an inverse square root decay for training LLMs, allowing flexibility in adjusting the number of training steps. In Zhai et al. (2022), authors use these schedules referred to as 'infinite learning rate schedules' to train vision transformers. These schedules enable indefinite training and the evaluation of multiple training durations in a single run. We note that our proposed infinite learning rate schedules for LLMs (Sec. 7.4) are inspired by this idea.
여러 연구에서 다양한 Learning Rate (LR) 스케줄이 신경망의 훈련 안정성과 최종 성능에 미치는 영향을 조사했습니다. Goyal 등(2018)은 훈련 초기에 LR을 점진적으로 워밍업하면 특히 대규모 미니 Batch Size에서 optimization 문제를 극복하는 데 도움이 될 수 있다는 사실을 발견했습니다. 또한 Popel과 Bojar(2018)는 Post-LN Transformers를 훈련할 때 워밍업 단계의 중요성을 강조했습니다. 반면에 Xiong 등(2020)은 Pre-LN Transformers가 더 안정적이며 워밍업 단계가 필요하지 않을 수 있다는 사실을 발견했습니다. You 등(2019)은 LR decay의 역할을 탐구한 결과, 초기 LR이 높으면 네트워크가 노이즈가 많은 데이터를 기억하는 것을 방지하는 반면, 작은 LR은 복잡한 패턴을 학습하는 데 도움이 된다는 사실을 발견했습니다. Kaplan 등(2020)은 Large Language Models (LLMs)를 사전 학습하기 위한 LR 일정을 탐색한 결과, 일정 선택이 성능에 큰 영향을 미치지 않는다는 사실을 발견했습니다. 이 잘못된 결과를 바로잡기 위해 Hoffmann 등(2022)은 LR 스케줄이 중요한 역할을 한다는 사실을 발견했습니다. Hoffmann 등(2022)과 Rae 등(2021)은 LLMs를 사전 학습할 때 cosine schedule을 사용하는 모범 사례를 확립했으며, 이는 널리 채택되고 있습니다. 이와는 대조적으로, Raffel 등(2023)과 Zhai 등(2022)은 대규모 사전 학습을 위해 inverse square root decay를 따르는 LR 스케줄을 탐구합니다. Raffel 등(2023)은 LLMs 훈련에 inverse square root decay를 활용하여 훈련 단계 수를 유연하게 조정할 수 있었습니다. Zhai 등(2022)에서는 vision transformers를 훈련하기 위해 '무한 Learning Rate 스케줄'이라고 하는 스케줄을 사용했습니다. 이러한 스케줄을 사용하면 무한한 훈련이 가능하며 한 번의 실행에서 여러 훈련 기간을 평가할 수 있습니다. 저희가 제안한 LLMs용 무한 Learning Rate 스케줄(7.4절)은 이 아이디어에서 영감을 받았습니다.
여러 연구에서 다양한 학습 속도(LR) 스케줄이 신경망의 훈련 안정성과 최종 성능에 미치는 영향을 조사했습니다. Goyal 등(2018)은 훈련 초기에 LR을 점진적으로 워밍업하면 특히 대규모 미니 배치 크기에서 최적화 문제를 극복하는 데 도움이 될 수 있다는 사실을 발견했습니다. 또한 Popel과 Bojar(2018)는 포스트 LN 트랜스포머를 훈련할 때 워밍업 단계의 중요성을 강조했습니다. 반면에 슝 등(2020)은 프리 LN 트랜스포머가 더 안정적이며 워밍업 단계가 필요하지 않을 수 있다는 사실을 발견했습니다. You 등(2019)은 LR 감쇠의 역할을 탐구한 결과, 초기 LR이 높으면 네트워크가 노이즈가 많은 데이터를 기억하는 것을 방지하는 반면, LR이 작으면 복잡한 패턴을 학습하는 데 도움이 된다는 사실을 발견했습니다. Kaplan 등(2020)은 대규모 언어 모델(LLM)을 사전 학습하기 위한 LR 일정을 탐색한 결과, 일정 선택이 성능에 큰 영향을 미치지 않는다는 사실을 발견했습니다. 이 잘못된 결과를 바로잡기 위해 Hoffmann 등(2022)은 LR 스케줄이 중요한 역할을 한다는 사실을 발견했습니다. Hoffmann 등(2022)과 Rae 등(2021)은 LLM을 사전 학습할 때 코사인 스케줄을 사용하는 모범 사례를 확립했으며, 이는 널리 채택되고 있습니다. 이와는 대조적으로, Raffel 등(2023)과 Zhai 등(2022)은 대규모 사전 학습을 위해 역제곱근 감쇠를 따르는 LR 스케줄을 탐구합니다. Raffel 등(2023)은 LLM 훈련에 역제곱근 감쇠를 활용하여 훈련 단계 수를 유연하게 조정할 수 있었습니다. Zhai 등(2022)에서는 비전 트랜스포머를 훈련하기 위해 '무한 학습 속도 스케줄'이라고 하는 스케줄을 사용했습니다. 이러한 스케줄을 사용하면 무한한 훈련이 가능하며 한 번의 실행에서 여러 훈련 기간을 평가할 수 있습니다. 저희가 제안한 LLM용 무한 학습 속도 스케줄(7.4절)은 이 아이디어에서 영감을 받았습니다.