1. We establish the effect of learning rate re-warming and re-decaying for models pre-trained using a cosine schedule, showing that re-warming and re-decaying is necessary for adaptation during continual pre-training. 2. We establish the effect of replaying previous data while keeping compute constant across two distribution shifts and many replay percentages. We find that, even when updating models on hundreds of billions of new tokens, it is possible to significantly mitigate forgetting with an appropriate amount of replay. 3. We demonstrate, across two model sizes and distribution shifts, that a simple and scalable combination of LR re-warming, LR re-decaying, and compute-equivalent replay allows continually pre-trained models to attain similar performance on average to models re-trained on the union of all data while using significantly less compute. 4. We propose infinite learning rate schedules (schedules allowing smooth transition across datasets) for the continual pre-training of LLMs as a promising way to circumvent optimization difficulties associated with learning rate re-warming.
1. 코사인 스케줄을 사용하여 사전 학습된 모델에 대해 Learning Rate 재가열 및 재감소 효과를 확인하여 지속적인 사전 학습 중 적응을 위해서는 재가열 및 재감소가 필요하다는 것을 보여줍니다. 2. 두 가지 분포 변화와 많은 재생 비율에서 계산을 일정하게 유지하면서 이전 데이터를 재생하는 효과를 확인합니다. 수천억 개의 새로운 토큰에 대한 모델 업데이트가 이루어질 때에도 적절한 양의 리플레이를 통해 잊어버림을 상당히 완화할 수 있음을 발견했습니다. 3. 두 가지 모델 크기와 분포 변화에 걸쳐 Learning Rate 재가열, Learning Rate 재감소 및 계산 동등 리플레이의 간단하고 확장 가능한 조합을 통해 지속적으로 사전 학습된 모델이 모든 데이터의 합집합에 대해 다시 학습된 모델과 평균적으로 유사한 성능을 달성할 수 있음을 입증합니다. 4. Learning Rate 재가열과 관련된 최적화 문제를 피하는 유망한 방법으로 LLM의 지속적인 사전 학습을 위한 무한 Learning Rate 스케줄(데이터 세트 간의 원활한 전환을 허용하는 스케줄)을 제안합니다.
1. 코사인 스케줄을 사용하여 사전 학습된 모델에 대해 학습 속도 재가열 및 재감소 효과를 확인하여 지속적인 사전 학습 중 적응을 위해서는 재가열 및 재감소가 필요하다는 것을 보여줍니다. 2. 두 가지 분포 변화와 많은 재생 비율에서 계산을 일정하게 유지하면서 이전 데이터를 재생하는 효과를 확인합니다. 수천억 개의 새로운 토큰에 대한 모델 업데이트가 이루어질 때에도 적절한 양의 리플레이를 통해 잊어버림을 상당히 완화할 수 있음을 발견했습니다. 3. 두 가지 모델 크기와 분포 변화에 걸쳐 LR 재가열, LR 재감소 및 계산 동등 리플레이의 간단하고 확장 가능한 조합을 통해 지속적으로 사전 학습된 모델이 모든 데이터의 합집합에 대해 다시 학습된 모델과 평균적으로 유사한 성능을 달성할 수 있음을 입증합니다. 4. 학습 속도 재가열과 관련된 최적화 문제를 피하는 유망한 방법으로 LLM의 지속적인 사전 학습을 위한 무한 학습 속도 스케줄(데이터 세트 간의 원활한 전환을 허용하는 스케줄)을 제안합니다.