Full-scale models.We now validate these results with comparisons with state-of-the-art models. We scale our previous experiments by training 1B and 7B models on 350GT; we also train a 1B model on 350GT on The Pile, as a control for the influence of our pretraining setup.
완전한 규모의 모델. 이제 state-of-the-art 모델과의 비교를 통해 이러한 결과를 검증합니다. 350GT에서 1B 및 7B 모델을 훈련하고, pretraining 설정의 영향에 대한 대조군으로 350GT에서 1B 모델을 훈련하는 방식으로 이전 실험의 규모를 확장합니다.
완전한 규모의 모델.이제 최신 모델과의 비교를 통해 이러한 결과를 검증합니다. 350GT에서 1B 및 7B 모델을 훈련하고, 프리트레이닝 설정의 영향에 대한 대조군으로 350GT에서 1B 모델을 훈련하는 방식으로 이전 실험의 규모를 확장합니다.