Figure 1: **Continual pre-training decreases computational costs of updating the model while maintaining similar final validation and average evaluation performance. We report results for the Pile \(\cup\) SlimPajama(SP)/German(Ger.) baseline model trained on the union of both datasets which we consider to be an upper bound on performance. We also report performance for two continually pre-trained models. “PT on Pile” starts from a pre-trained Pile checkpoint and only uses learning rate re-warming and re-decaying, while “Replay (PT on Pile)” re-warms the learning rate, re-decays it, and uses 5% replay for SlimPajama and 25% replay for German. We observe that the combination of LR re-warming, re-decaying, and replay allows our continually pre-trained model to attain similar average performance to the baseline model while requiring substantially less compute.
그림 1: **지속적인 pre-training은 최종 유효성 검사 및 평균 평가 성능을 유사하게 유지하면서 모델 업데이트의 계산 비용을 감소시킵니다. 두 데이터 세트의 합집합에 대해 학습된 Pile (\(\cup\) SlimPajama(SP)/German(Ger.)) baseline 모델의 결과를 보고하며, 이를 성능의 상한선으로 간주합니다. 또한 지속적으로 pre-trained된 두 가지 모델에 대한 성능도 보고합니다. "PT on Pile"은 pre-trained Pile checkpoint에서 시작하여 Learning Rate 재가열 및 재감소만 사용하는 반면, "Replay (PT on Pile)"은 Learning Rate를 재가열하고, 재감소하며, SlimPajama의 경우 5% replay, German의 경우 25% replay를 사용합니다. LR 재가열, 재감소 및 replay의 조합을 통해 지속적으로 pre-trained된 모델이 baseline 모델과 유사한 평균 성능에 도달할 수 있으며, 이는 훨씬 적은 계산이 필요합니다.
그림 1: **지속적인 사전 학습은 최종 유효성 검사 및 평균 평가 성능을 유사하게 유지하면서 모델 업데이트의 계산 비용을 감소시킵니다. 두 데이터 세트의 합집합에 대해 학습된 Pile (\(\cup\) SlimPajama(SP)/German(Ger.)) 기준 모델의 결과를 보고하며, 이를 성능의 상한선으로 간주합니다. 또한 지속적으로 사전 학습된 두 가지 모델에 대한 성능도 보고합니다. "Pile에서 PT"는 사전 학습된 Pile 체크포인트에서 시작하여 학습 속도 재가열 및 재감소만 사용하는 반면, "리플레이(Pile에서 PT)"는 학습 속도를 재가열하고, 재감소하며, SlimPajama의 경우 5% 리플레이, German의 경우 25% 리플레이를 사용합니다. LR 재가열, 재감소 및 리플레이의 조합을 통해 지속적으로 사전 학습된 모델이 기준 모델과 유사한 평균 성능에 도달할 수 있으며, 이는 훨씬 적은 계산이 필요합니다.