Table. 5 reports English-language LM evaluation results for our english-only continually pre-trained LLMs. Normalized accuracy is reported for HellaSwag and exact match (EM) is reported for NaturalQuestions and TriviaQA. All other tasks report unnormalized accuracy. As expected, we observe that the larger (10B) models achieve stronger performance than their smaller counterparts and that models trained on more tokens always achieve better performance than models trained on fewer tokens. For both model scales, we observe that the models pre-trained continually using a combination of learning rate re-warming and 5% replay approach (10B) or surpass (405M) the performance of the models trained on the union of both datasets in terms of average accuracy.
표 5는 영어만 연속적으로 사전 학습된 LLM에 대한 영어 LM 평가 결과를 보고합니다. HellaSwag의 경우 정규화된 정확도가 보고되고, NaturalQuestions와 TriviaQA의 경우 정확도(EM)가 보고됩니다. 다른 모든 작업은 정규화되지 않은 정확도를 보고합니다. 예상대로, 더 큰(10B) 모델이 더 작은 모델보다 더 강력한 성능을 달성하고, 더 많은 토큰으로 학습된 모델이 더 적은 토큰으로 학습된 모델보다 항상 더 나은 성능을 달성하는 것을 관찰할 수 있습니다. 두 모델 규모 모두에서 Learning Rate 재가열과 5% 리플레이 접근 방식(10B)의 조합을 사용하여 지속적으로 사전 학습된 모델이 평균 정확도 측면에서 두 데이터 세트의 유니온으로 학습된 모델의 성능을 초과하거나(405M) 초과하는 것을 관찰할 수 있습니다.
표 5는 영어만 연속적으로 사전 학습된 LLM에 대한 영어 LM 평가 결과를 보고합니다. 헬라스웩의 경우 정규화된 정확도가 보고되고, 내추럴 퀘스천과 트리비아QA의 경우 정확도(EM)가 보고됩니다. 다른 모든 작업은 정규화되지 않은 정확도를 보고합니다. 예상대로, 더 큰(10B) 모델이 더 작은 모델보다 더 강력한 성능을 달성하고, 더 많은 토큰으로 학습된 모델이 더 적은 토큰으로 학습된 모델보다 항상 더 나은 성능을 달성하는 것을 관찰할 수 있습니다. 두 모델 규모 모두에서 학습률 재가열과 5% 리플레이 접근 방식(10B)의 조합을 사용하여 지속적으로 사전 학습된 모델이 평균 정확도 측면에서 두 데이터 세트의 유니온으로 학습된 모델의 성능을 초과하거나(405M) 초과하는 것을 관찰할 수 있습니다.