Figure 8: Loss predictions and the training curve of continual pretraining Pythia-70M on a mixture of the Pile and python code. (A) Loss prediction on the Pile; (B) Loss prediction on python; (C) training curves with losses on the Pile; (D) training curves with losses on python. We predict final losses with Eqn. 6. The law accurately finds the critical mixture proportion that maintains model performance on the original domain (i.e., the Pile).
그림 8: Loss 예측 및 Pythia-70M의 연속적 사전 학습의 training curve. (A) Pile의 Loss 예측; (B) Python의 Loss 예측; (C) Pile의 Loss가 있는 training curves; (D) Python의 Loss가 있는 training curves. 우리는 방정식 6으로 최종 Loss를 예측합니다. 이 법칙은 원래 도메인(즉, Pile)에서 모델 성능을 유지하는 중요한 혼합 비율을 정확하게 찾습니다.
그림 8: 파일과 파이썬 코드의 혼합물에 대한 연속적 사전 학습 Pythia-70M의 손실 예측 및 학습 곡선. (A) 파일의 손실 예측; (B) 파이썬의 손실 예측; (C) 파일의 손실이 있는 훈련 곡선; (D) 파이썬의 손실이 있는 훈련 곡선. 방정식 6으로 최종 손실을 예측합니다. 이 법칙은 원래 도메인(즉, 파일)에서 모델 성능을 유지하는 중요한 혼합 비율을 정확하게 찾습니다.