SlimPajama as in Fig. 3. It is noteworthy that the higher the re-warming, the more pronounced this effect is, as seen with the \(\eta_{max}=6\cdot 10^{-4}\) curve when continuing to pre-train on Pile (with a peak loss increase of 0.2) vs continuing to pre-train on SlimPajama (peak loss increase of 0.45).
그림 3과 같이 SlimPajama. 재가열이 높을수록 이 효과가 더 뚜렷해지는데, Pile에서 pre-train을 계속할 때(\(\eta_{max}=6\cdot 10^{-4}\) 곡선)와 SlimPajama에서 pre-train을 계속할 때(peak loss 증가 0.45)의 곡선에서 볼 수 있듯이 peak loss 증가가 0.2로 증가합니다.
그림 3과 같이 슬림파자마. 재가열이 높을수록 이 효과가 더 뚜렷해지는데, Pile에서 사전 학습을 계속할 때(\(\eta_{max}=6\cdot 10^{-4}\) 곡선)와 SlimPajama에서 사전 학습을 계속할 때(최대 손실 증가 0.45)의 곡선에서 볼 수 있듯이 최대 손실 증가가 0.2로 증가합니다.