We focus on continual pre-training when incoming datasets are large (200B tokens+). In such settings, training is expensive, thus, it is critical to efficiently adapt to the large amount of incoming data. However, most performant LLMs (Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023b;a) are trained with a linear warmup and cosine decay schedule with a relatively low minimum learning rate. We hypothesize that **re-warming** this learning rate to a relatively high value and subsequently re-decaying it is needed to efficiently adapt to the new dataset. To this end, in section 6.1 we study the effect of linear warmup duration, re-warming the LR, re-decaying the LR, and maximum learning rate magnitude on adaptation and forgetting. Finding that re-warming and re-decaying increases both adaptation and forgetting, in section 6.2 we investigate whether replay can help mitigate forgetting when the learning rate is re-warmed and re-decayed. Subsections 6.3 and 6.4 combine the strategies studied in the previous two sections and report their performance relative to baselines for weak and strong distribution shifts and at large model scale.
수신 데이터 세트가 크다(200B 토큰 이상) 경우 지속적인 사전 학습에 집중합니다. 이러한 설정에서는 학습 비용이 많이 들기 때문에 들어오는 대량의 데이터에 효율적으로 적응하는 것이 중요합니다. 그러나 대부분의 성능이 뛰어난 LLM(Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023b;a)은 비교적 낮은 최소 Learning Rate로 선형 워밍업 및 코사인 감쇠 일정으로 학습됩니다. 이 Learning Rate를 상대적으로 높은 값으로 다시 워밍업한 후 다시 감소시켜야 새로운 데이터 세트에 효율적으로 적응할 수 있다는 가설을 세웁니다. 이를 위해 섹션 6.1에서는 선형 워밍업 기간, Learning Rate 재가열, Learning Rate 재감소, 최대 Learning Rate 크기가 적응과 잊어버림에 미치는 영향을 연구합니다. 재가열 및 재감소가 적응과 잊어버림을 모두 증가시킨다는 사실을 발견한 후, 섹션 6.2에서는 Learning Rate를 재가열 및 재감소시켰을 때 재생이 잊어버림을 완화하는 데 도움이 될 수 있는지 조사합니다. 6.3과 6.4 하위 섹션에서는 이전 두 섹션에서 연구한 전략을 결합하여 약한 분포 이동과 강한 분포 이동, 대규모 모델 규모에서 기준과 비교하여 성능을 보고합니다.
수신 데이터 세트가 크다(200B 토큰 이상) 경우 지속적인 사전 학습에 집중합니다. 이러한 설정에서는 학습 비용이 많이 들기 때문에 들어오는 대량의 데이터에 효율적으로 적응하는 것이 중요합니다. 그러나 대부분의 성능이 뛰어난 LLM(Rae et al., 2021; Hoffmann et al., 2022; Zhao et al., 2023; Touvron et al., 2023b;a)은 비교적 낮은 최소 학습 속도로 선형 워밍업 및 코사인 감쇠 일정으로 학습됩니다. 이 학습 속도를 상대적으로 높은 값으로 다시 워밍업한 후 다시 감소시켜야 새로운 데이터 세트에 효율적으로 적응할 수 있다는 가설을 세웁니다. 이를 위해 섹션 6.1에서는 선형 워밍업 기간, LR 재가열, LR 재감소, 최대 학습 속도 크기가 적응과 잊어버림에 미치는 영향을 연구합니다. 재가열 및 재감소가 적응과 잊어버림을 모두 증가시킨다는 사실을 발견한 후, 섹션 6.2에서는 학습 속도를 재가열 및 재감소시켰을 때 재생이 잊어버림을 완화하는 데 도움이 될 수 있는지 조사합니다. 6.3과 6.4 하위 섹션에서는 이전 두 섹션에서 연구한 전략을 결합하여 약한 분포 이동과 강한 분포 이동, 대규모 모델 규모에서 기준과 비교하여 성능을 보고합니다.