on understanding physical laws, HellaSwag evaluates how well they predict story outcomes, BoolQ evaluates their comprehension and inference skills through yes/no questions based on text passages, WinoGrande examines their handling of language nuances and context-based ambiguity resolution, and CommonsenseQA assesses their general knowledge and reasoning. These datasets measure the most fundamental capabilities of the models. As shown in Figure 2, within each model, the accuracy on these datasets rapidly increases in the early stages of training (before 300B tokens) and gradually reaches a plateau. This trend is particularly evident in the checkpoints before 100B tokens for the Amber-7b model.
물리 법칙을 이해하는 HellaSwag는 스토리 결과를 얼마나 잘 예측하는지를 평가하고, BoolQ는 텍스트 구절을 기반으로 한 예/아니요 질문을 통해 이해력과 추론 능력을 평가하며, WinoGrande는 언어 뉘앙스와 문맥에 기반한 모호성 해결을 다루는 방법을 검토하고, CommonsenseQA는 일반 지식과 추론 능력을 평가합니다. 이러한 데이터 세트는 모델의 가장 기본적인 기능을 측정합니다. 그림 2에서 볼 수 있듯이 각 모델 내에서 이러한 데이터 세트의 정확도는 훈련 초기에(300B tokens 이전) 빠르게 증가하고 점차 정체기에 도달합니다. 이러한 추세는 Amber-7b 모델의 경우 100B tokens 이전의 체크포인트에서 특히 두드러집니다.
물리 법칙을 이해하는 헬라스웨그는 스토리 결과를 얼마나 잘 예측하는지를 평가하고, BoolQ는 텍스트 구절을 기반으로 한 예/아니요 질문을 통해 이해력과 추론 능력을 평가하며, WinoGrande는 언어 뉘앙스와 문맥에 기반한 모호성 해결을 다루는 방법을 검토하고, CommonsenseQA는 일반 지식과 추론 능력을 평가합니다. 이러한 데이터 세트는 모델의 가장 기본적인 기능을 측정합니다. 그림 2에서 볼 수 있듯이 각 모델 내에서 이러한 데이터 세트의 정확도는 훈련 초기에(300B 토큰 이전) 빠르게 증가하고 점차 정체기에 도달합니다. 이러한 추세는 Amber-7b 모델의 경우 100B 토큰 이전의 체크포인트에서 특히 두드러집니다.