1. **Linear warm-up phase** - As before, the learning rate is initially increased to some maximum value \(\eta_{max}\) over \(T_{warmup}\) timesteps, or equivalently until timestep \(t_{cd}=T_{warmup}\). The learning rate undergoes a warm-up only once (during the first task) and does not require re-warming for future tasks. 2. **Cooldown phase** - During this stage the learning rate undergoes a cooldown phase where the learning rate is gradually decayed to constant value \(\eta_{const}\) according to some decay function \(f_{cd}\) over \(T_{cd}\) timesteps from timestep \(t_{cd}\) to \(t_{const}=t_{cd}+T_{cd}\). This stage also occurs only once during the first task. 3. **Constant phase** - The learning rate then remains constant for all future tasks over \(T_{const}\) timesteps from timestep \(t_{const}\) to \(t_{ann}=t_{const}+T_{const}\). The checkpoint obtained at the end of this phase is the one one should resume from when continuing to pretrain on a new dataset. 4. **Annealing phase** - The learning rate is annealed to a small value \(\eta_{min}\) over \(T_{ann}\) timesteps from timestep \(t_{ann}\) to \(t_{end}=t_{ann}+T_{ann}\), helping train the model to convergence before being deployed.
1. **선형 워밍업 단계** - 이전과 마찬가지로, Learning Rate는 처음에 \(T_{warmup}\) 시간 단계 또는 이에 상응하는 시간 단계 \(t_{cd}=T_{warmup}\)까지 일부 최대 값 \(\eta_{max}\)로 증가합니다. Learning Rate는 첫 번째 작업 중에 한 번만 워밍업을 거치며 향후 작업에 대해 다시 워밍업할 필요가 없습니다. 2. **쿨다운 단계** - 이 단계에서는 Learning Rate가 쿨다운 단계를 거치며, Learning Rate는 시간 단계 \(t_{cd}\)부터 \(t_{const}=t_{cd}+T_{cd}\)까지 \(T_{cd}\) 시간 단계에 걸쳐 일부 감쇠 함수 \(f_{cd}\)에 따라 일정한 값 \(\eta_{const}\)로 점진적으로 감쇠됩니다. 이 단계는 또한 첫 번째 작업 중에 한 번만 발생합니다. 3. **상수 단계** - 그런 다음 Learning Rate는 시간 단계 \(t_{const}\)부터 \(t_{ann}=t_{const}+T_{const}\)까지 모든 향후 작업에 대해 \(T_{const}\) 시간 단계 동안 일정하게 유지됩니다. 이 단계가 끝날 때 얻은 체크포인트는 새 데이터 세트에 대한 사전 학습을 계속할 때 재개해야 하는 체크포인트입니다. 4. **어닐링 단계** - Learning Rate는 시간 단계 \(t_{ann}\)부터 \(t_{end}=t_{ann}+T_{ann}\)까지 \(T_{ann}\) 시간 단계에 걸쳐 작은 값 \(\eta_{min}\)으로 어닐링되어 배포되기 전에 모델을 수렴하도록 훈련하는 데 도움이 됩니다.
1. **선형 워밍업 단계** - 이전과 마찬가지로, 학습 속도는 처음에 \(T_{warmup}\) 시간 단계 또는 이에 상응하는 시간 단계 \(t_{cd}=T_{warmup}\)까지 일부 최대 값 \(\eta_{max}\)로 증가합니다. 학습 속도는 첫 번째 작업 중에 한 번만 워밍업을 거치며 향후 작업에 대해 다시 워밍업할 필요가 없습니다. 2. **쿨다운 단계** - 이 단계에서는 학습 속도가 쿨다운 단계를 거치며, 학습 속도는 시간 단계 \(t_{cd}\)부터 \(t_{const}=t_{cd}+T_{cd}\)까지 \(T_{cd}\) 시간 단계에 걸쳐 일부 감쇠 함수 \(f_{cd}\)에 따라 일정한 값 \(\eta_{const}\)로 점진적으로 감쇠됩니다. 이 단계는 또한 첫 번째 작업 중에 한 번만 발생합니다. 3. **상수 단계** - 그런 다음 학습 속도는 시간 단계 \(t_{const}\)부터 \(t_{ann}=t_{const}+T_{const}\)까지 모든 향후 작업에 대해 \(T_{const}\) 시간 단계 동안 일정하게 유지됩니다. 이 단계가 끝날 때 얻은 체크포인트는 새 데이터 세트에 대한 사전 학습을 계속할 때 재개해야 하는 체크포인트입니다. 4. **어닐링 단계** - 학습 속도는 시간 단계 \(t_{ann}\)부터 \(t_{end}=t_{ann}+T_{ann}\)까지 \(T_{ann}\) 시간 단계에 걸쳐 작은 값 \(\eta_{min}\)으로 어닐링되어 배포되기 전에 모델을 수렴하도록 훈련하는 데 도움이 됩니다.