Figure 6 reports the validation loss during continual pre-training for 405M and 10B models, while Table 4 reports the average (over the last 100 iterations) final loss value for each model. As expected, we observe that all baselines and continually pre-trained models consistently improve in perplexity on both datasets from increasing parameter count. For the 405M models, we observe that \(\text{Pile}\cup\text{SP}\) achieves identical validation loss on each dataset to the baselines trained individually on them. In contrast, the 10B parameter model trained on \(\text{Pile}\cup\text{SP}\) outperforms the models trained individually on each. We hypothesize that this happens due to larger models having more capacity, thus being capable of learning at a higher rate for longer. We observe that replaying 5% pile data when continuing to pre-train on \(\text{SlimPajama}\) reduces forgetting on \(\text{Pile}\) validation by 0.19 and 0.21 for 10B and 405M parameter models respectively.
그림 6은 405M 및 10B 모델에 대한 지속적 사전 학습 중 validation loss를 보고하고, 표 4는 각 모델의 평균(마지막 100회 반복) 최종 loss 값을 보고합니다. 예상대로 모든 기준선과 지속적으로 사전 학습된 모델은 매개변수 수가 증가함에 따라 두 데이터 세트 모두에서 perplexity가 지속적으로 개선되는 것을 관찰할 수 있습니다. 405M 모델의 경우, \(\text{Pile}\cup\text{SP}\)가 각 데이터 세트에서 개별적으로 학습된 기준선과 동일한 validation loss를 달성하는 것을 관찰할 수 있습니다. 반면, \(\text{Pile}\cup\text{SP}\)에서 학습된 10B 파라미터 모델은 각각에서 개별적으로 학습된 모델보다 성능이 뛰어납니다. 이는 더 큰 모델이 더 많은 용량을 가지고 있기 때문에 더 오래 더 높은 속도로 학습할 수 있기 때문에 발생한다고 가설을 세웁니다. \(\text{SlimPajama}\)에서 사전 학습을 계속할 때 5% pile 데이터를 재생하면 10B 및 405M 파라미터 모델에 대해 각각 0.19 및 0.21만큼 \(\text{Pile}\) validation에서 잊어버림이 감소하는 것을 관찰할 수 있습니다.
그림 6은 405M 및 10B 모델에 대한 지속적 사전 학습 중 검증 손실을 보고하고, 표 4는 각 모델의 평균(마지막 100회 반복) 최종 손실 값을 보고합니다. 예상대로 모든 기준선과 지속적으로 사전 학습된 모델은 매개변수 수가 증가함에 따라 두 데이터 세트 모두에서 난해성이 지속적으로 개선되는 것을 관찰할 수 있습니다. 405M 모델의 경우, \(\text{Pile}\cup\text{SP}\)가 각 데이터 세트에서 개별적으로 학습된 기준선과 동일한 유효성 검사 손실을 달성하는 것을 관찰할 수 있습니다. 반면, \(\text{Pile}\cup\text{SP}\)에서 학습된 10B 파라미터 모델은 각각에서 개별적으로 학습된 모델보다 성능이 뛰어납니다. 이는 더 큰 모델이 더 많은 용량을 가지고 있기 때문에 더 오래 더 높은 속도로 학습할 수 있기 때문에 발생한다고 가설을 세웁니다. 텍스트 슬림파자마\)에서 사전 학습을 계속할 때 5% 더미 데이터를 재생하면 10B 및 405M 파라미터 모델에 대해 각각 0.19 및 0.21만큼 \(\text{Pile}\) 유효성 검사에서 잊어버림이 감소하는 것을 관찰할 수 있습니다.