During continual pretraining, a too-large proportion of the target data can hurt the performance of the original data. A representative mixture optimization target is to maintain the general-purpose ability (looses on the Pile) unchanged. To this end, using the fitted data mixing laws, we predict the _critical proportion_ leading to the same loss as before continual pretraining. Fig. 8 demonstrates the success of our prediction where the proportion we find results in similar performance compared to the model before continual pretraining while gaining improvement in the target domain.
지속적인 사전 학습 중에 대상 데이터의 비중이 너무 높으면 원본 데이터의 성능이 저하될 수 있습니다. 대표적인 혼합 optimization 목표는 범용 기능(더미에서 손실)을 그대로 유지하는 것입니다. 이를 위해 적합한 데이터 혼합 법칙을 사용하여 지속적인 사전 학습 이전과 동일한 loss로 이어지는 _임계 비율_을 예측합니다. 그림 8은 우리가 찾은 비율이 지속적인 사전 학습 이전의 모델과 비슷한 성능을 발휘하는 동시에 대상 도메인에서 개선 효과를 얻는다는 예측의 성공을 보여줍니다.
지속적인 사전 학습 중에 대상 데이터의 비중이 너무 높으면 원본 데이터의 성능이 저하될 수 있습니다. 대표적인 혼합 최적화 목표는 범용 기능(더미에서 손실)을 그대로 유지하는 것입니다. 이를 위해 적합한 데이터 혼합 법칙을 사용하여 지속적인 사전 학습 이전과 동일한 손실로 이어지는 _임계 비율_을 예측합니다. 그림 8은 우리가 찾은 비율이 지속적인 사전 학습 이전의 모델과 비슷한 성능을 발휘하는 동시에 대상 도메인에서 개선 효과를 얻는다는 예측의 성공을 보여줍니다.