_In summary, we find that models continually pre-trained with a combination of LR re-warming, LR re-decaying, and replay exceed the average performance (e.g., w.r.t. final validation loss and evaluation accuracy) of baselines trained from random initialization on individual datasets and achieve comparable evaluation performance on average to the expensive re-training baseline (trained on the union of both datasets).
요약하면, Learning Rate 재가열, Learning Rate 재감쇠 및 재생의 조합으로 지속적으로 사전 학습된 모델은 개별 데이터 세트에서 무작위 초기화로부터 학습된 baseline의 평균 성능(예: 최종 유효성 검사 Loss 및 평가 정확도)을 초과하고 비용이 많이 드는 재학습 baseline(두 데이터 세트의 유니온에서 학습됨)과 평균적으로 비슷한 평가 성능을 달성한다는 것을 알 수 있습니다.
_요약하면, LR 재가열, LR 재감쇠 및 재생의 조합으로 지속적으로 사전 학습된 모델은 개별 데이터 세트에서 무작위 초기화로부터 학습된 베이스라인의 평균 성능(예: 최종 유효성 검사 손실 및 평가 정확도)을 초과하고 비용이 많이 드는 재학습 베이스라인(두 데이터 세트의 유니온에서 학습됨)과 평균적으로 비슷한 평가 성능을 달성한다는 것을 알 수 있습니다.