In this subsection, we compare two continually pre-trained 405M parameter models to several baselines in the _two dataset weak shift_ (Pile \(\rightarrow\) SlimPajama) and _two dataset strong shift_ (Pile \(\rightarrow\) German) settings. Our main goal is to determine how the differences in distribution shift affect final performance.
이 하위 섹션에서는 연속적으로 사전 학습된 405M 파라미터 모델 두 개를 _두 데이터 세트 약한 shift_ (Pile \(\rightarrow\) SlimPajama) 및 _두 데이터 세트 강한 shift_ (Pile \(\rightarrow\) German) 설정의 여러 baseline과 비교합니다. 우리의 주요 목표는 분포 shift의 차이가 최종 성능에 어떤 영향을 미치는지 확인하는 것입니다.
이 하위 섹션에서는 연속적으로 사전 학습된 405M 파라미터 모델 두 개를 _두 데이터 세트 약한 시프트_ (Pile (\우측수열\) SlimPajama) 및 _두 데이터 세트 강한 시프트_ (Pile (\우측수열\) German) 설정의 여러 베이스라인과 비교합니다. 우리의 주요 목표는 분포 시프트의 차이가 최종 성능에 어떤 영향을 미치는지 확인하는 것입니다.