Hoffmann et al. (2022) and Rae et al. (2021) established best practices for using a cosine schedule when pre-training LLMs. Specifically, they recommend starting with a linear warmup phase and decaying the learning rate to \(10\times\) its maximum value such that the end of the cosine cycle is set to match the number of tokens. While the linear warmup duration differs, most notable works have a duration between 0.1% and 0.5% for training steps (Zhao et al., 2023). Given that many popular open-source models (Touvron et al., 2023; 20; Almazrouei et al., 2023) follow this learning rate schedule recipe, it is critical to understand its nuances for continually pre-training such models.
Hoffmann 외(2022)와 Rae 외(2021)는 LLM을 사전 학습할 때 cosine schedule을 사용하기 위한 모범 사례를 제시했습니다. 특히, 이들은 linear warmup 단계로 시작하여 cosine cycle의 끝이 토큰 수와 일치하도록 설정되도록 learning rate를 최대값의 \(10\배\)로 감소시키는 것을 권장합니다. linear warmup 기간은 다르지만, 대부분의 주목할 만한 작업은 훈련 단계에서 0.1%에서 0.5% 사이의 기간을 가지고 있습니다(Zhao et al., 2023). 많은 인기 있는 오픈 소스 모델(Touvron et al., 2023; 20; Almazrouei et al., 2023)이 이 learning rate schedule 레시피를 따르고 있다는 점을 감안할 때, 이러한 모델을 지속적으로 사전 학습하기 위해서는 그 뉘앙스를 이해하는 것이 중요합니다.
Hoffmann 외(2022)와 Rae 외(2021)는 LLM을 사전 학습할 때 코사인 스케줄을 사용하기 위한 모범 사례를 제시했습니다. 특히, 이들은 선형 워밍업 단계로 시작하여 코사인 사이클의 끝이 토큰 수와 일치하도록 설정되도록 학습 속도를 최대값의 \(10\배\)로 감소시키는 것을 권장합니다. 선형 워밍업 기간은 다르지만, 대부분의 주목할 만한 작업은 훈련 단계에서 0.1%에서 0.5% 사이의 기간을 가지고 있습니다(Zhao et al., 2023). 많은 인기 있는 오픈 소스 모델(Touvron et al., 2023; 20; Almazrouei et al., 2023)이 이 학습 속도 스케줄 레시피를 따르고 있다는 점을 감안할 때, 이러한 모델을 지속적으로 사전 학습하기 위해서는 그 뉘앙스를 이해하는 것이 중요합니다.