Footnote 1: For all cosine decays in this paper, unless otherwise specified, we fit the cosine annealing phase to the token budget, set the linear warmup duration (\(T_{warmup}\)) to 1% of training iterations, and set \(\eta_{min}=0.1\cdot\eta_{max}\)
각주 1: 이 논문의 모든 cosine decays에 대해, 달리 명시되지 않는 한, cosine annealing 단계를 token budget에 맞추고, linear warmup 기간(\(T_{warmup}\))을 training iterations의 1%로 설정하고, \(\eta_{min}=0.1\cdot\eta_{max}\)로 설정합니다.
각주 1: 이 논문의 모든 코사인 감소에 대해, 달리 명시되지 않는 한, 코사인 어닐링 단계를 토큰 예산에 맞추고, 선형 워밍업 기간(\(T_{warmup}\))을 훈련 반복 횟수의 1%로 설정하고, \(\eta_{min}=0.1\cdot\eta_{max}\)로 설정합니다.