Figure 2: **The effect of linear warmup for weak and strong distribution shifts.** (a),(b) and (c),(d) have the same legends respectively, shown in the right figures. We train 405M parameters models following a linear warmup and cosine decay schedule with varying linear warmup durations: 0%,0.5%,1%, and 2% of training iterations. Each learning rate schedule decays to \(0.1\eta_{max}\) by the end of training based on the size of the dataset. We report results for the first 50B tokens of training. In the settings explored, we observe that the duration of the warm-up phase does not appear to be impactful when continuing to pre-train.
그림 2: **약한 분포 이동과 강한 분포 이동에 대한 linear warmup의 효과.** (a),(b)와 (c),(d)는 오른쪽 그림에 각각 동일한 범례를 가집니다. linear warmup 기간이 다양한 linear warmup 일정에 따라 405M 파라미터 모델을 훈련합니다: 0%,0.5%,1%,2%의 훈련 반복 횟수입니다. 각 learning rate 일정은 데이터 세트의 크기에 따라 훈련이 끝날 때 \(0.1\eta_{max}\)로 감소합니다. 훈련의 처음 500억 토큰에 대한 결과를 보고합니다. 살펴본 설정에서 warm-up 단계의 기간은 계속 사전 학습할 때 영향을 미치지 않는 것으로 보입니다.
그림 2: **약한 분포 이동과 강한 분포 이동에 대한 선형 워밍업의 효과.** (a),(b)와 (c),(d)는 오른쪽 그림에 각각 동일한 범례를 가집니다. 선형 워밍업 기간이 다양한 선형 워밍업 일정에 따라 405M 파라미터 모델을 훈련합니다: 0%,0.5%,1%,2%의 훈련 반복 횟수입니다. 각 학습 속도 일정은 데이터 세트의 크기에 따라 훈련이 끝날 때 \(0.1\eta_{max}\)로 감소합니다. 훈련의 처음 500억 토큰에 대한 결과를 보고합니다. 살펴본 설정에서 워밍업 단계의 기간은 계속 사전 학습할 때 영향을 미치지 않는 것으로 보입니다.