Note, 10% of domain data (2.39B) translates to less than 1% of the 300 billion tokens the original Pythia was trained on. These results demonstrate that being selective during the data curation process for continual pre-training can have large effects on domain performance at a small cost.
도메인 데이터의 10%(23억 9,000만 개)는 원래 Pythia가 학습한 3,000억 개 토큰의 1% 미만으로 환산됩니다. 이러한 결과는 지속적인 pre-training을 위해 데이터 큐레이션 프로세스에서 선택적임이 작은 비용으로 도메인 성능에 큰 영향을 미칠 수 있음을 보여줍니다.
도메인 데이터의 10%(23억 9,000만 개)는 원래 Pythia가 학습한 3,000억 개 토큰의 1% 미만으로 환산됩니다. 이러한 결과는 지속적인 사전 학습을 위해 데이터 큐레이션 프로세스에서 선택적임이 작은 비용으로 도메인 성능에 큰 영향을 미칠 수 있음을 보여줍니다.