_In summary, we saw that re-warming can hurt performance even when training on the same distribution, but that alternatives to cosine decay schedules might circumvent these issues. Furthermore, these infinite learning rate schedules provide a simple way to end or resume pre-training without being constrained to a particular token budget.
요약하면, 동일한 분포에서 훈련하는 경우에도 재가열이 성능에 영향을 미칠 수 있지만 cosine decay schedules의 대안을 통해 이러한 문제를 우회할 수 있다는 것을 확인했습니다. 또한, 이러한 무한 Learning Rate 일정은 특정 토큰 예산에 제약을 받지 않고 사전 학습을 종료하거나 재개할 수 있는 간단한 방법을 제공합니다.
_요약하면, 동일한 분포에서 훈련하는 경우에도 재가열이 성능에 영향을 미칠 수 있지만 코사인 감소 일정의 대안을 통해 이러한 문제를 우회할 수 있다는 것을 확인했습니다. 또한, 이러한 무한 학습 속도 일정은 특정 토큰 예산에 제약을 받지 않고 사전 학습을 종료하거나 재개할 수 있는 간단한 방법을 제공합니다.