We evaluate two models trained for 300B and 350B tokens corresponding to roughly 85B and 100B unique C4 tokens respectively. Our findings show substantial improvements on the ARC-challenge benchmark, and Truthful-QA consistent in the zero-shot settings and comparable performance across other datasets. Our models also perform better than the publicly released Falcon-1.3B model trained on the Refined Web dataset, and the Pythia-1.4B model, which was trained on Pile.
우리는 각각 약 85B 및 100B 개의 고유 C4 토큰에 해당하는 300B 및 350B 토큰에 대해 학습된 두 가지 모델을 평가합니다. 연구 결과, ARC-challenge 벤치마크에서 상당한 개선 효과를 보였으며, zero-shot 설정에서 일관된 Truthful-QA와 다른 데이터 세트에서 비슷한 성능을 보였습니다. 또한, 모델은 정제된 웹 데이터 세트에서 학습된 공개적으로 출시된 Falcon-1.3B 모델과 Pile에서 학습된 Pythia-1.4B 모델보다 더 나은 성능을 보였습니다.
우리는 각각 약 85B 및 100B 개의 고유 C4 토큰에 해당하는 300B 및 350B 토큰에 대해 학습된 두 가지 모델을 평가합니다. 연구 결과, ARC-challenge 벤치마크에서 상당한 개선 효과를 보였으며, 제로 샷 설정에서 일관된 진실성-QA와 다른 데이터 세트에서 비슷한 성능을 보였습니다. 또한, 모델은 정제된 웹 데이터 세트에서 학습된 공개적으로 출시된 Falcon-1.3B 모델과 Pile에서 학습된 Pythia-1.4B 모델보다 더 나은 성능을 보였습니다.