We now compare infinite learning rate schedules to a cosine decay schedule. We first explore a simple single-dataset pre-training setup to evaluate the feasibility of the schedule for LLM pre-training. Subsequently, we explore its benefits in our _three datasets, no shift_ setting.
이제 무한 Learning Rate 일정을 cosine decay 일정과 비교합니다. 먼저 단순한 단일 데이터 세트 사전 학습 설정을 살펴보고 LLM 사전 학습에 대한 일정의 타당성을 평가합니다. 그런 다음 _세 가지 데이터 세트, 이동 없음_ 설정에서 그 이점을 살펴봅니다.
이제 무한 학습 속도 일정을 코사인 감소 일정과 비교합니다. 먼저 단순한 단일 데이터 세트 사전 학습 설정을 살펴보고 LLM 사전 학습에 대한 일정의 타당성을 평가합니다. 그런 다음 _세 가지 데이터 세트, 이동 없음_ 설정에서 그 이점을 살펴봅니다.