In this subsection, we explore the effect of compute-equivalent replay when continually pre-training models that re-warm and re-decay the learning rate.
이 하위 섹션에서는 학습 속도를 다시 예열하고 다시 감소시키는 모델을 지속적으로 사전 학습할 때 compute-equivalent replay의 효과를 살펴봅니다.
이 하위 섹션에서는 학습 속도를 다시 예열하고 다시 감소시키는 모델을 지속적으로 사전 학습할 때 컴퓨팅 등가 재생의 효과를 살펴봅니다.