Specialized KnowledgeIn the Specialized Knowledge category, we include datasets that demand expertise in specific domains. The **ARC Challenge (ARC-C)**Clark et al. (2018) contains challenging science exam questions from grades 3 to 9, demanding advanced knowledge. **SciQ**Johannes Welbl (2017) provides science exam questions to test models' understanding and reasoning in the scientific domain. **PubMedQA**Jin et al. (2019) focuses on biomedical literature, assessing comprehension in medical and health-related information. **MathQA**Amini et al. (2019) tests mathematical problem-solving, requiring both numerical comprehension and reasoning. Lastly, **MMLU**Hendrycks et al. (2021) spans multiple domains, from professional to academic, testing the model on specialized subjects.
전문 지식전문 지식 카테고리에는 특정 도메인에 대한 전문 지식이 필요한 데이터 세트가 포함됩니다. **ARC Challenge (ARC-C)** Clark 등(2018)에는 3학년부터 9학년까지의 과학 시험 문제가 포함되어 있어 고급 지식이 필요합니다. **SciQ** Johannes Welbl(2017)은 과학 영역에서 모델의 이해와 추론을 테스트하기 위한 과학 시험 문제를 제공합니다. **PubMedQA** Jin et al. (2019)은 의학 및 보건 관련 정보에 대한 이해력을 평가하는 생물의학 문헌에 중점을 둡니다. **MathQA** Amini et al. (2019)은 수학적 문제 해결을 테스트하며 수치 이해력과 추론 능력을 모두 필요로 합니다. 마지막으로, **MMLU** Hendrycks et al. (2021)은 전문 분야부터 학술 분야까지 여러 영역에 걸쳐 모델을 전문 과목에 대해 테스트합니다.
전문 지식전문 지식 카테고리에는 특정 도메인에 대한 전문 지식이 필요한 데이터 세트가 포함됩니다. ARC Challenge(ARC-C) Clark 등(2018)에는 3학년부터 9학년까지의 과학 시험 문제가 포함되어 있어 고급 지식이 필요합니다. SciQ**Johannes Welbl(2017)은 과학 영역에서 모델의 이해와 추론을 테스트하기 위한 과학 시험 문제를 제공합니다. PubMedQA**Jin et al. (2019)은 의학 및 보건 관련 정보에 대한 이해력을 평가하는 생물의학 문헌에 중점을 둡니다. MathQA**Amini et al. (2019)은 수학적 문제 해결을 테스트하며 수치 이해력과 추론 능력을 모두 필요로 합니다. 마지막으로, **MMLU**Hendrycks et al. (2021)은 전문 분야부터 학술 분야까지 여러 영역에 걸쳐 모델을 전문 과목에 대해 테스트합니다.