Eval mainly covers four categories: STEM, Social, Humanities, and Others, consisting of nearly 14K samples for 52 disciplines. Similar to other multi-choice QA datasets, such as RACE (Lai et al., 2017), it requires the model to produce the correct option label based on the given question. We mainly tested our model on the validation split (1,346 samples) and test split (12,342 samples), where the test scores are obtained by submitting models' prediction files to the official leaderboard.
Eval은 주로 STEM, 사회, 인문학, 기타의 네 가지 카테고리를 다루며, 52개 분야에 대해 약 14,000개의 샘플로 구성되어 있습니다. RACE(Lai et al., 2017)와 같은 다른 객관식 QA 데이터 세트와 마찬가지로, 주어진 질문에 따라 모델이 올바른 옵션 레이블을 생성해야 합니다. 우리는 주로 validation split(1,346개 샘플)과 test split(12,342개 샘플)에서 모델을 테스트했으며, 테스트 점수는 모델의 예측 파일을 공식 리더보드에 제출하여 얻습니다.
Eval은 주로 STEM, 사회, 인문학, 기타의 네 가지 카테고리를 다루며, 52개 분야에 대해 약 14,000개의 샘플로 구성되어 있습니다. RACE(Lai et al., 2017)와 같은 다른 객관식 QA 데이터 세트와 마찬가지로, 주어진 질문에 따라 모델이 올바른 옵션 레이블을 생성해야 합니다. 우리는 주로 유효성 검사 분할(1,346개 샘플)과 테스트 분할(12,342개 샘플)에서 모델을 테스트했으며, 테스트 점수는 모델의 예측 파일을 공식 리더보드에 제출하여 얻습니다.