* If the learning rate was cosine-decayed from a large value \(\eta_{max}\) to a small value \(\eta_{min}\) during pre-training on the initial dataset, the following guidelines can help to continually pre-train your model:
* Re-warming and re-decaying the learning rate from \(\mathcal{O}(\eta_{max})\) to \(\mathcal{O}(\eta_{min})\) improves adaptation to a new dataset, e.g. compared to continuing from small learning rates \(\mathcal{O}(\eta_{min})\). * Decreasing the schedule's maximum learning rate can help reduce forgetting, whereas increasing it can improve adaptation. * Infinite LR schedules are promising alternatives to cosine decay schedules. They transition into a high constant learning rate across tasks, helping prevent optimization-related forgetting by avoiding re-warming the LR between tasks. They also avoid committing to a specific budget of tokens as a final exponential decay can be used to train the model to convergence at any point during training. **Replay:**
* As a default value, we recommend 5% replay. More replay should be used with stronger distribution shifts, while one can get away with as little as 1% for weak distribution shifts.
* 초기 데이터 세트에 대한 사전 학습 중에 Learning Rate가 큰 값(\(\eta_{max}\))에서 작은 값(\(\eta_{min}\))으로 코사인 감소한 경우, 다음 지침을 참조하면 모델을 지속적으로 사전 학습하는 데 도움이 될 수 있습니다:
* Learning Rate를 \(\mathcal{O}(\eta_{max})\)에서 \(\mathcal{O}(\eta_{min})\)로 다시 가열하고 다시 감소하면, 예를 들어 작은 Learning Rate \(\mathcal{O}(\eta_{min})\)에서 계속하는 것에 비해 새로운 데이터 세트에 대한 적응이 개선됩니다.
* 스케줄의 최대 Learning Rate를 낮추면 잊어버림을 줄이는 데 도움이 될 수 있으며, 높게 설정하면 적응력을 향상시킬 수 있습니다.
* 무한 LR 스케줄은 코사인 감소 스케줄에 대한 유망한 대안입니다. 이 스케줄은 작업 전반에 걸쳐 높은 상수 Learning Rate로 전환되므로 작업 간에 LR을 다시 가열하지 않음으로써 최적화 관련 잊어버림을 방지하는 데 도움이 됩니다. 또한 최종 지수 감소를 사용하여 훈련 중 어느 시점에서든 모델을 수렴하도록 훈련할 수 있으므로 특정 토큰 예산을 확정하지 않아도 됩니다.
**Replay:**
* 기본값으로는 5% Replay를 권장합니다. 더 강한 분포 이동에는 더 많은 Replay를 사용해야 하며, 약한 분포 이동에는 1%만 사용해도 됩니다.
* 초기 데이터 세트에 대한 사전 학습 중에 학습 속도가 큰 값(\eta_{max})에서 작은 값(\eta_{min})으로 코사인 감소한 경우, 다음 지침을 참조하면 모델을 지속적으로 사전 학습하는 데 도움이 될 수 있습니다:* 학습 속도를 \(\mathcal{O}(\eta_{max})\)에서 \(\mathcal{O}(\eta_{min})\)로 다시 가열하고 다시 감소하면, 예를 들어 작은 학습 속도 \(\mathcal{O}(\eta_{min})\)에서 계속하는 것에 비해 새로운 데이터 세트에 대한 적응이 개선됩니다. * 스케줄의 최대 학습 속도를 낮추면 잊어버림을 줄이는 데 도움이 될 수 있으며, 높게 설정하면 적응력을 향상시킬 수 있습니다. * 무한 LR 스케줄은 코사인 감소 스케줄에 대한 유망한 대안입니다. 이 스케줄은 작업 전반에 걸쳐 높은 상수 학습 속도로 전환되므로 작업 간에 LR을 다시 가열하지 않음으로써 최적화 관련 잊어버림을 방지하는 데 도움이 됩니다. 또한 최종 지수 감소를 사용하여 훈련 중 어느 시점에서든 모델을 수렴하도록 훈련할 수 있으므로 특정 토큰 예산을 확정하지 않아도 됩니다. **리플레이:*** 기본값으로는 5% 리플레이를 권장합니다. 더 강한 분포 이동에는 더 많은 리플레이를 사용해야 하며, 약한 분포 이동에는 1%만 사용해도 됩니다.