To monitor the pre-training process, we randomly sample 0.1% of our financial corpus as a financial test dataset. The model is also evaluated on the Pile test dataset. The loss trajectory for FinPythia-6.9B is reported in Figure 2. The training loss is smoothed using a moving average of 50 optimization steps. We observe a sharp decrease in Financial test (Fin test) loss during the early stage of continual pre-training, and the progress gradually becomes saturated, similar to the loss trajectory of training from scratch [31; 27]. The loss log suggests that domain-adaptive continual pre-trainingsucceeds in adopting Pythia to the financial domains at the expense of a mild increase in Pile loss (Pile test).
사전 학습 과정을 모니터링하기 위해 재무 말뭉치의 0.1%를 무작위로 샘플링하여 재무 테스트 데이터 세트로 사용합니다. 또한 Pile 테스트 데이터 세트에서 모델을 평가합니다. FinPythia-6.9B의 Loss 궤적은 그림 2에 보고됩니다. 훈련 Loss는 50개의 Optimization 단계의 이동 평균을 사용하여 평활화됩니다. 지속적인 사전 학습 초기에 재무 테스트(Fin 테스트) Loss가 급격히 감소하는 것을 관찰할 수 있으며, 처음부터 학습하는 Loss 궤적[31; 27]과 유사하게 점진적으로 포화 상태가 됩니다. Loss 로그는 도메인 적응 지속적 사전 학습이 Pythia를 금융 도메인에 채택하는 데 성공했음을 시사하며, Pile Loss(Pile 테스트)의 가벼운 증가를 희생하고 있습니다.
사전 학습 과정을 모니터링하기 위해 재무 말뭉치의 0.1%를 무작위로 샘플링하여 재무 테스트 데이터 세트로 사용합니다. 또한 Pile 테스트 데이터 세트에서 모델을 평가합니다. FinPythia-6.9B의 손실 궤적은 그림 2에 보고됩니다. 훈련 손실은 50개의 최적화 단계의 이동 평균을 사용하여 평활화됩니다. 지속적인 사전 학습 초기에 재무 테스트(Fin 테스트) 손실이 급격히 감소하는 것을 관찰할 수 있으며, 처음부터 학습하는 손실 궤적[31; 27]과 유사하게 점진적으로 포화 상태가 됩니다. 손실 로그는 도메인 적응 지속적 사전 학습이 파이썬을 금융 도메인에 채택하는 데 성공했음을 시사하며, 파이썬 손실(파이썬 테스트)의 가벼운 증가를 희생하고 있습니다.