upcoming event, but the three wrong answers are created to confuse machines. * **AI2 Reasoning Challenge (ARC)**[193] is used for commonsense reasoning. This benchmark encompasses \(7,787\) science examination questions. These questions are in English, and most of them are set up in a multiple-choice format. The questions have been divided into two groups: a Challenge Set with \(2,590\) difficult questions and an Easy Set with 5,197 questions. Each collection has also been pre-divided into Train, Development, and Test subsets. * **PIQA**[194] is intended to evaluate the language representations on their knowledge of physical commonsense. In this dataset, the focus is on everyday situations with a preference for uncommon solutions. The central task is a multiple-choice question answering, where a question \((q)\) is provided along with two potential solutions \((s1,s2)\). Then, the best solution is chosen by whether a model or a human. For each question, only one of the solutions is the correct answer. * **SIQA**[195] provides a framework for evaluating models' ability for commonsense reasoning about social situations. SIQA dataset has \(38,000\) multiple-choice questions designed to assess emotional and social intelligence in everyday circumstances. This dataset covers a wide variety of social scenarios. In SIQA, the potential answers is a mixture of human-selected responses and machine-generated ones that have been filtered through adversarial processes. * **OpenBookQA (OBQA)**[196] is a new kind of question-answering dataset where answering its questions requires additional common and commonsense knowledge not contained in the book and rich text comprehension. This dataset includes around 6,000 multiple-choice questions. Each question is linked to one core fact, as well as an additional collection of over \(6000\) facts. The questions were developed using a multi-stage crowdsourcing and expert filtering procedure. OpenBookQA questions are difficult because they need multi-hop reasoning with limited background. * **TruthfulQA**[197] is designed specifically to evaluate the truthfulness of language models in generating answers to questions. This dataset includes 817 questions, written by authors, from \(38\) different categories, including health, law, finance, and politics. These questions are purposefully designed to challenge human responders, as they may contain common misunderstandings that lead to incorrect answers. * **OPT-IML Bench**[103] is a comprehensive benchmark for Instruction Meta-Learning. It covers 2000 NLP tasks from 8 existing benchmarks. The OPT-IML Bench consists of a training set with 17.9 M examples, a dev set with 145K samples, and a test set with 321K samples.
이벤트가 다가오지만 세 가지 오답은 기계를 혼란스럽게 하기 위해 만들어졌습니다. * **AI2 Reasoning Challenge (ARC)**[193]는 상식 추론에 사용됩니다. 이 벤치마크에는 7,787개의 과학 시험 문제가 포함되어 있습니다. 이 문제들은 영어로 되어 있으며 대부분 객관식 형식으로 출제됩니다. 문제는 난이도가 높은 문제 2,590개가 포함된 챌린지 세트와 5,197개의 문제가 포함된 이지 세트의 두 그룹으로 나뉘어져 있습니다. 각 컬렉션은 또한 훈련, 개발 및 테스트 하위 집합으로 사전 분할되어 있습니다. * **PIQA**[194]는 물리적 상식에 대한 지식을 평가하기 위한 데이터셋입니다. 이 데이터 세트에서는 흔하지 않은 솔루션을 선호하는 일상적인 상황에 중점을 둡니다. 핵심 과제는 객관식 질문 답변으로, 두 가지 잠재적 해결책 \((s1,s2)\)과 함께 질문 \((q)\)이 제공됩니다. 그런 다음 모델 또는 사람이 최상의 솔루션을 선택합니다. 각 문제에 대해 솔루션 중 하나만 정답입니다. * **SIQA**[195]는 사회적 상황에 대한 상식적 추론 능력을 평가하기 위한 프레임워크를 제공합니다. SIQA 데이터 세트에는 일상적인 상황에서 정서적, 사회적 지능을 평가하기 위해 설계된 38,000개의 객관식 문제가 있습니다. 이 데이터 세트는 다양한 사회적 시나리오를 다룹니다. SIQA에서 잠재적 답변은 사람이 선택한 답변과 적대적 프로세스를 통해 필터링된 기계 생성 답변이 혼합되어 있습니다. * **OpenBookQA (OBQA)**[196]는 질문에 답하기 위해 책에 포함되지 않은 일반적이고 상식적인 지식과 풍부한 텍스트 이해력이 필요한 새로운 종류의 질의응답 데이터 세트입니다. 이 데이터 세트에는 약 6,000개의 객관식 문제가 포함되어 있습니다. 각 문제는 하나의 핵심 사실과 6000개 이상의 추가 사실 컬렉션에 연결됩니다. 이 문제들은 다단계 크라우드소싱 및 전문가 필터링 절차를 통해 개발되었습니다. OpenBookQA 문제는 제한된 배경 지식으로 multi-hop reasoning이 필요하기 때문에 어렵습니다. * **TruthfulQA**[197]는 질문에 대한 답변을 생성할 때 언어 모델의 진실성을 평가하기 위해 특별히 설계되었습니다. 이 데이터 세트에는 건강, 법률, 금융, 정치 등 38개의 다른 카테고리에서 저자가 작성한 817개의 질문이 포함되어 있습니다. 이 질문들은 잘못된 답변으로 이어질 수 있는 일반적인 오해를 포함할 수 있으므로 의도적으로 인간 응답자에게 도전하도록 설계되었습니다. * **OPT-IML Bench**[103]는 Instruction Meta-Learning을 위한 포괄적인 벤치마크입니다. 8개의 기존 벤치마크에서 2000개의 NLP 작업을 다룹니다. OPT-IML Bench는 1,790만 개의 예제가 포함된 훈련 세트, 145,000개의 샘플이 포함된 개발 세트, 321,000개의 샘플이 포함된 테스트 세트로 구성됩니다.
이벤트가 다가오지만 세 가지 오답은 기계를 혼란스럽게 하기 위해 만들어졌습니다. * **AI2 추론 챌린지(ARC)**[193]는 상식 추론에 사용됩니다. 이 벤치마크에는 7,787개의 과학 시험 문제가 포함되어 있습니다. 이 문제들은 영어로 되어 있으며 대부분 객관식 형식으로 출제됩니다. 문제는 난이도가 높은 문제 2,590개가 포함된 챌린지 세트와 5,197개의 문제가 포함된 이지 세트의 두 그룹으로 나뉘어져 있습니다. 각 컬렉션은 또한 훈련, 개발 및 테스트 하위 집합으로 사전 분할되어 있습니다. * **PIQA**[194]는 물리적 상식에 대한 지식을 평가하기 위한 데이터셋입니다. 이 데이터 세트에서는 흔하지 않은 솔루션을 선호하는 일상적인 상황에 중점을 둡니다. 핵심 과제는 객관식 질문 답변으로, 두 가지 잠재적 해결책 \((s1,s2)\)과 함께 질문 \((q)\)이 제공됩니다. 그런 다음 모델 또는 사람이 최상의 솔루션을 선택합니다. 각 문제에 대해 솔루션 중 하나만 정답입니다. * **SIQA**[195]는 사회적 상황에 대한 상식적 추론 능력을 평가하기 위한 프레임워크를 제공합니다. SIQA 데이터 세트에는 일상적인 상황에서 정서적, 사회적 지능을 평가하기 위해 설계된 38,000개의 객관식 문제가 있습니다. 이 데이터 세트는 다양한 사회적 시나리오를 다룹니다. SIQA에서 잠재적 답변은 사람이 선택한 답변과 적대적 프로세스를 통해 필터링된 기계 생성 답변이 혼합되어 있습니다. * **OpenBookQA(OBQA)**[196]는 질문에 답하기 위해 책에 포함되지 않은 일반적이고 상식적인 지식과 풍부한 텍스트 이해력이 필요한 새로운 종류의 질의응답 데이터 세트입니다. 이 데이터 세트에는 약 6,000개의 객관식 문제가 포함되어 있습니다. 각 문제는 하나의 핵심 사실과 6000개 이상의 추가 사실 컬렉션에 연결됩니다. 이 문제들은 다단계 크라우드소싱 및 전문가 필터링 절차를 통해 개발되었습니다. OpenBookQA 문제는 제한된 배경 지식으로 멀티 홉 추론이 필요하기 때문에 어렵습니다. * **TruthfulQA**[197]는 질문에 대한 답변을 생성할 때 언어 모델의 진실성을 평가하기 위해 특별히 설계되었습니다. 이 데이터 세트에는 건강, 법률, 금융, 정치 등 38개의 다른 카테고리에서 저자가 작성한 817개의 질문이 포함되어 있습니다. 이 질문들은 잘못된 답변으로 이어질 수 있는 일반적인 오해를 포함할 수 있으므로 의도적으로 인간 응답자에게 도전하도록 설계되었습니다. * **OPT-IML 벤치**[103]는 명령어 메타 학습을 위한 포괄적인 벤치마크입니다. 8개의 기존 벤치마크에서 2000개의 NLP 작업을 다룹니다. OPT-IML 벤치는 1,790만 개의 예제가 포함된 훈련 세트, 145,000개의 샘플이 포함된 개발 세트, 321,000개의 샘플이 포함된 테스트 세트로 구성됩니다.