* **ARC Easy (ARC-E)**: The Easy set of the AI2 Reasoning Challenge (Clark et al., 2018) features questions from the same source as ARC-C but are considered less challenging and do not require as advanced reasoning skills. * **BoolQ**: A dataset consisting of boolean (yes/no) questions, focusing on reading comprehension and general understanding of natural language text (Clark et al., 2019). * **Winogrande (Wino.)**: This dataset challenges models on common sense reasoning in a language context, focusing on pronoun disambiguation tasks (ai2, 2019). * **PIQA**: Physical Interaction Question Answering tests the understanding of everyday physical processes, an aspect of practical common sense (Bisk et al., 2020). * **HellaSwag**: This dataset evaluates a model's ability to complete scenarios in a contextually and logically coherent manner, requiring both language understanding and common sense reasoning (Zellers et al., 2019). * **TruthfulQA**: Focused on the generation of truthful, accurate answers, this dataset challenges models on their ability to discern and reproduce factually correct information (Lin et al., 2021). * **OpenBookQA (OBQA)**: OpenBookQA requires understanding a wide array of facts and concepts, thereby evaluating the model's broader knowledge and reasoning skills (Mihaylov et al., 2018). * **LogiQA-2**: This dataset involves logical reasoning, testing the model's capability to understand and apply logical constructs and principles (Liu et al., 2023b).
* **ARC Easy(ARC-E)**: AI2 추론 챌린지(Clark et al., 2018)의 Easy 세트는 ARC-C와 동일한 출처의 문제를 출제하지만 덜 어려운 것으로 간주되며 고급 추론 기술이 필요하지 않습니다. * **BoolQ**: 독해력과 자연어 텍스트의 일반적인 이해에 중점을 둔 부울(예/아니오) 질문으로 구성된 데이터 세트(Clark et al., 2019). * **Winogrande(Wino.)**: 이 데이터 세트는 대명사 해독 작업에 중점을 둔 언어 맥락에서 상식 추론에 대한 모델의 도전을 제시합니다(ai2, 2019). * **PIQA**: 일상적인 물리적 과정에 대한 이해를 테스트하는 물리적 상호작용 질문 답변은 실용적인 상식의 한 측면인 일상적인 물리적 과정에 대한 이해를 테스트합니다(Bisk et al., 2020). * **HellaSwag**: 이 데이터 세트는 문맥적이고 논리적으로 일관된 방식으로 시나리오를 완성하는 모델의 능력을 평가하며, 언어 이해와 상식 추론이 모두 필요합니다(Zellers et al., 2019). * **TruthfulQA**: 진실하고 정확한 답변 생성에 중점을 둔 이 데이터 세트는 사실적으로 정확한 정보를 식별하고 재현하는 모델의 능력에 도전합니다(Lin et al., 2021). * **OpenBookQA(OBQA)**: OpenBookQA는 다양한 사실과 개념을 이해해야 하므로 모델의 광범위한 지식과 추론 능력을 평가합니다(Mihaylov et al., 2018). * **LogiQA-2**: 이 데이터 세트는 논리적 추론을 포함하며, 모델이 논리적 구성과 원리를 이해하고 적용하는 능력을 테스트합니다(Liu et al., 2023b).
* **ARC Easy(ARC-E)**: AI2 추론 챌린지(Clark et al., 2018)의 Easy 세트는 ARC-C와 동일한 출처의 문제를 출제하지만 덜 어려운 것으로 간주되며 고급 추론 기술이 필요하지 않습니다. * **BoolQ**: 독해력과 자연어 텍스트의 일반적인 이해에 중점을 둔 부울(예/아니오) 질문으로 구성된 데이터 세트(Clark et al., 2019). * **Winogrande(Wino.)**: 이 데이터 세트는 대명사 해독 작업에 중점을 둔 언어 맥락에서 상식 추론에 대한 모델의 도전을 제시합니다(ai2, 2019). * **PIQA**: 일상적인 물리적 과정에 대한 이해를 테스트하는 물리적 상호작용 질문 답변은 실용적인 상식의 한 측면인 일상적인 물리적 과정에 대한 이해를 테스트합니다(Bisk et al., 2020). * **헬라스웨그**: 이 데이터 세트는 문맥적이고 논리적으로 일관된 방식으로 시나리오를 완성하는 모델의 능력을 평가하며, 언어 이해와 상식 추론이 모두 필요합니다(Zellers et al., 2019). * **진실한QA**: 진실하고 정확한 답변 생성에 중점을 둔 이 데이터 세트는 사실적으로 정확한 정보를 식별하고 재현하는 모델의 능력에 도전합니다(Lin et al., 2021). * **OpenBookQA(OBQA)**: OpenBookQA는 다양한 사실과 개념을 이해해야 하므로 모델의 광범위한 지식과 추론 능력을 평가합니다(Mihaylov et al., 2018). * **LogiQA-2**: 이 데이터 세트는 논리적 추론을 포함하며, 모델이 논리적 구성과 원리를 이해하고 적용하는 능력을 테스트합니다(Liu et al., 2023b).