We endeavour to demonstrate that web data alone can result in models outperforming other models trained on curated corpora. To do so, we first perform a small-scale study with 1B and 3B parameters models trained to optimality (27GT and 60GT) on popular web and curated datasets. Then, we scale up to 1B and 7B models trained on 350GT, and compare zero-shot generalization to state-of-the-art models.
웹 데이터만으로도 큐레이션된 말뭉치에서 훈련된 다른 모델보다 성능이 뛰어난 모델을 만들 수 있음을 보여주고자 합니다. 이를 위해 먼저 인기 있는 웹 및 큐레이션된 데이터 세트에서 optimality (27GT 및 60GT)되도록 훈련된 1B 및 3B 파라미터 모델로 소규모 연구를 수행합니다. 그런 다음 350GT로 훈련된 1B 및 7B 모델로 확장하여 state-of-the-art 모델과의 zero-shot generalization을 비교합니다.
웹 데이터만으로도 큐레이션된 말뭉치에서 훈련된 다른 모델보다 성능이 뛰어난 모델을 만들 수 있음을 보여주고자 합니다. 이를 위해 먼저 인기 있는 웹 및 큐레이션된 데이터 세트에서 최적화(27GT 및 60GT)되도록 훈련된 1B 및 3B 파라미터 모델로 소규모 연구를 수행합니다. 그런 다음 350GT로 훈련된 1B 및 7B 모델로 확장하여 최신 모델과의 제로 샷 일반화를 비교합니다.