1. Pre-training on larger datasets helps improve performance, by presumably exposing the LLM to more "knowledge". For instance, the Pythia (300B) model achieves an average score of 44.6%, outperforming the smaller C4 (85B) dataset's score of 43.5%.
1. 더 큰 데이터 세트에 대한 Pre-training은 LLM이 더 많은 '지식'에 노출되어 성능을 향상시키는 데 도움이 됩니다. 예를 들어, Pythia(300B) 모델은 평균 점수 44.6%를 달성하여 더 작은 C4(85B) 데이터 세트의 점수인 43.5%를 능가합니다.
1. 더 큰 데이터 세트에 대한 사전 학습은 LLM이 더 많은 '지식'에 노출되어 성능을 향상시키는 데 도움이 됩니다. 예를 들어, Pythia(300B) 모델은 평균 점수 44.6%를 달성하여 더 작은 C4(85B) 데이터 세트의 점수인 43.5%를 능가합니다.