General UnderstandingThe General Understanding category comprises datasets testing broader cognitive skills and language comprehension. **ARC Easy (ARC-E)**Clark et al. (2018) is the less challenging counterpart of ARC-C, featuring questions that require basic reasoning skills. **BoolQ**Clark et al. (2019) includes boolean questions that focus on reading comprehension and general language understanding. **Winogrande (Wino.)**ai (2019) challenges models with common sense reasoning in language, particularly in pronoun disambiguation. **PIQA**Bisk et al. (2020) assesses understanding of physical processes, an essential part of practical common sense. **HellaSwag**Zellers et al. (2019) tests the ability to complete scenarios coherently, demanding both language understanding and common sense. **TruthfulQA**Lin et al. (2021) is centered on generating truthful, accurate answers, thus testing the model's factual correctness. **OpenBookQA (OBQA)**Mihaylov et al. (2018) evaluates the understanding of a broad range of facts and concepts. Finally, **LogiQA-2**Liu et al. (2023) assesses the model's capacity to comprehend and apply logical principles.
일반적인 이해 일반 이해 카테고리에는 광범위한 인지 능력과 언어 이해력을 테스트하는 데이터 세트가 포함되어 있습니다. **ARC Easy (ARC-E)**Clark 등(2018)은 기본적인 추론 능력이 필요한 문제가 포함된 ARC-C의 덜 어려운 대응물입니다. **BoolQ**Clark 등(2019)은 독해력과 일반적인 언어 이해력에 중점을 둔 부울 문제가 포함되어 있습니다. **Winogrande (Wino.)**ai (2019)는 특히 대명사의 오류를 식별하는 언어의 상식적인 추론으로 모델에 도전합니다. **PIQA**Bisk 등(2020)은 실용적인 상식의 필수적인 부분인 물리적 과정에 대한 이해를 평가합니다. **HellaSwag**Zellers 등(2019)은 언어 이해와 상식을 모두 요구하는 시나리오를 일관성 있게 완성하는 능력을 테스트합니다. **TruthfulQA**Lin 등(2021)은 진실하고 정확한 답변을 생성하는 데 중점을 두어 모델의 사실 정확성을 테스트합니다. **OpenBookQA (OBQA)**Mihaylov 등(2018)은 광범위한 사실과 개념에 대한 이해를 평가합니다. 마지막으로, **LogiQA-2** Liu 등(2023)은 논리적 원칙을 이해하고 적용하는 모델의 능력을 평가합니다.
일반적인 이해일반 이해 카테고리에는 광범위한 인지 능력과 언어 이해력을 테스트하는 데이터 세트가 포함되어 있습니다. **ARC Easy (ARC-E)**Clark 등(2018)은 기본적인 추론 능력이 필요한 문제가 포함된 ARC-C의 덜 어려운 대응물입니다. **BoolQ**Clark 등(2019)은 독해력과 일반적인 언어 이해력에 중점을 둔 부울 문제가 포함되어 있습니다. **위노그란데(Wino.)**ai (2019)는 특히 대명사의 오류를 식별하는 언어의 상식적인 추론으로 모델에 도전합니다. **PIQA**Bisk 등(2020)은 실용적인 상식의 필수적인 부분인 물리적 과정에 대한 이해를 평가합니다. **헬라스웨그**셀러스 등(2019)은 언어 이해와 상식을 모두 요구하는 시나리오를 일관성 있게 완성하는 능력을 테스트합니다. **진실한QA**Lin 등(2021)은 진실하고 정확한 답변을 생성하는 데 중점을 두어 모델의 사실 정확성을 테스트합니다. **오픈북QA(OBQA)**Mihaylov 등(2018)은 광범위한 사실과 개념에 대한 이해를 평가합니다. 마지막으로, **LogiQA-2** Liu 등(2023)은 논리적 원칙을 이해하고 적용하는 모델의 능력을 평가합니다.