* **Natural Questions**[179] is a QA dataset that consists of real anonymized, aggregated queries submitted to the Google search engine as questions. An annotator is presented with a question along with a Wikipedia page from the top \(5\) search results, and annotates a long answer (typically a paragraph) and a short answer (one or more entities) if present on the page, or marks null if no long/short answer is present. * **MMLU**[180] is intended to evaluate the knowledge gained in zero-shot and few-shot scenarios. That means that MMLU assesses both the general knowledge and problem-solving ability of a model. It covers 57 subjects in STEM, humanities, social sciences, and other areas. The benchmark varies in complexity, ranging from elementary to advanced professional. It is worth mentioning that the main contribution of this dataset is for multi-task language understanding, question answering, and arithmetic reasoning. * **MBPP**[181] stands for "Mostly Basic Python Problems" and provides a benchmark for evaluating the performance of models designed for code generation. The benchmark encompasses \(974\) short Python programs including a wide range of topics, including fundamental programming concepts and standard library usage, and more. Each challenge comprises a task description, a code solution, and three automated test cases. * **HumanEval**[182] is a dataset for code generation task. This dataset consists of \(164\) hand-crafted programming challenges. Each challenge is accompanied by a function signature, docstring, code body, and multiple unit tests. The main intuition behind developing this dataset is to guarantee the exclusion of its contents from training datasets for code generation models. * **APPS**[183] is designed for code generation task focusing on the Python programming language. The APPS dataset contains a collection of \(232,444\) Python programs. Each program in the dataset has an average of \(18\) lines of Python code. Additionally, APPS offers access to a repository of \(10,000\) unique programming exercises, each with text-based problem descriptions. The final aspect to highlight is that the it includes test cases. * **WikiSQL**[184] is crafted for code generation task and it has 87,726 carefully labeled pairs of SQL queries and corresponding natural language questions from Wikipedia tables. The SQL queries comprise three subsets: test sets (\(17,284\) examples), development (\(9,145\) examples), and training (\(61,297\) examples). * **TriviaQA**[185] is designed for QA task. This dataset comprises more than \(650,000\) question-answer-evidence triples. There are \(95,000\) question-answer pairs in this dataset, each authored by trivia enthusiasts and supported by an average of six independently sourced evidence documents. These documents are automatically acquired from Wikipedia or broader web search results. The dataset is categorized into two segments, including those with authentic answers from Wikipedia and web domains, and verified sets embody the accurately answered questions along with their associated documents from both Wikipedia and online.
* **Natural Questions**[179]은 Google 검색 엔진에 질문으로 제출된 실제 익명화되고 집계된 쿼리로 구성된 QA 데이터 세트입니다. 주석 작성자에게는 상위 \(5\) 검색 결과 중 위키백과 페이지와 함께 질문이 제시되며, 페이지에 있는 경우 긴 답변(일반적으로 한 단락)과 짧은 답변(하나 이상의 엔티티)을 주석으로 달거나 긴/짧은 답변이 없는 경우 null을 표시합니다. * **MMLU**[180]는 zero-shot 및 few-shot 시나리오에서 얻은 지식을 평가하기 위한 것입니다. 즉, MMLU는 모델의 일반 지식과 문제 해결 능력을 모두 평가합니다. STEM, 인문학, 사회과학 및 기타 분야의 57개 과목을 다룹니다. 이 벤치마크는 초급부터 고급 전문가까지 복잡성이 다양합니다. 이 데이터 세트의 주요 기여는 multi-task language understanding, question answering 및 arithmetic reasoning에 있다는 점을 언급할 필요가 있습니다. * **MBPP**[181]는 "Mostly Basic Python Problems"의 약자로, 코드 생성을 위해 설계된 모델의 성능을 평가하기 위한 벤치마크를 제공합니다. 이 벤치마크에는 기본 프로그래밍 개념 및 표준 라이브러리 사용법 등 다양한 주제를 포함한 \(974\)개의 짧은 Python 프로그램이 포함되어 있습니다. 각 과제에는 작업 설명, 코드 솔루션 및 3개의 자동화된 테스트 케이스가 포함되어 있습니다. * **HumanEval**[182]은 코드 생성 작업을 위한 데이터 세트입니다. 이 데이터 세트는 \(164\)개의 수작업으로 제작된 프로그래밍 챌린지로 구성되어 있습니다. 각 챌린지는 함수 서명, docstring, 코드 본문 및 여러 unit test와 함께 제공됩니다. 이 데이터 세트를 개발한 주요 직관은 코드 생성 모델의 학습 데이터 세트에서 해당 콘텐츠를 배제할 수 있도록 하기 위해서입니다. * **APPS**[183]는 파이썬 프로그래밍 언어에 초점을 맞춘 코드 생성 작업을 위해 설계되었습니다. APPS 데이터 세트에는 \(232,444\)개의 Python 프로그램 컬렉션이 포함되어 있습니다. 데이터 세트의 각 프로그램에는 평균 \(18\) 줄의 Python 코드가 있습니다. 또한 APPS는 텍스트 기반 문제 설명이 있는 \(10,000\) 개의 고유한 프로그래밍 연습 문제 리포지토리에 대한 액세스를 제공합니다. 마지막으로 강조하고 싶은 점은 테스트 케이스가 포함되어 있다는 점입니다. * **WikiSQL**[184]은 코드 생성 작업을 위해 제작되었으며, 위키백과 테이블에서 87,726쌍의 조심스럽게 레이블이 지정된 SQL 쿼리와 해당 자연어 질문으로 구성되어 있습니다. SQL 쿼리는 테스트 세트(\(17,284\) 예제), 개발(\(9,145\) 예제), 훈련(\(61,297\) 예제)의 세 가지 하위 집합으로 구성됩니다. * **TriviaQA**[185]는 QA 작업을 위해 설계되었습니다. 이 데이터 세트는 \(650,000\) 개 이상의 질문-답변-증거 트리플로 구성됩니다. 이 데이터 세트에는 \(95,000\) 개의 질문-답변 쌍이 있으며, 각 쌍은 퀴즈 애호가가 작성하고 평균 6 개의 독립적으로 소싱 된 증거 문서로 지원합니다. 이러한 문서는 위키백과 또는 광범위한 웹 검색 결과에서 자동으로 획득됩니다. 데이터 세트는 위키백과 및 웹 도메인의 실제 답변이 있는 데이터 세트와 검증된 데이터 세트로 정확하게 답변된 질문과 위키백과 및 온라인의 관련 문서가 포함된 데이터 세트로 구성되는 두 가지 부분으로 분류됩니다.
* **자연 질문**[179]은 Google 검색 엔진에 질문으로 제출된 실제 익명화되고 집계된 쿼리로 구성된 QA 데이터 세트입니다. 주석 작성자에게는 상위 \(5\) 검색 결과 중 위키백과 페이지와 함께 질문이 제시되며, 페이지에 있는 경우 긴 답변(일반적으로 한 단락)과 짧은 답변(하나 이상의 엔티티)을 주석으로 달거나 긴/짧은 답변이 없는 경우 null을 표시합니다. * **MMLU**[180]는 0샷 및 몇 샷 시나리오에서 얻은 지식을 평가하기 위한 것입니다. 즉, MMLU는 모델의 일반 지식과 문제 해결 능력을 모두 평가합니다. STEM, 인문학, 사회과학 및 기타 분야의 57개 과목을 다룹니다. 이 벤치마크는 초급부터 고급 전문가까지 복잡성이 다양합니다. 이 데이터 세트의 주요 기여는 다중 작업 언어 이해, 질문 답변 및 산술 추론에 있다는 점을 언급할 필요가 있습니다. * **MBPP**[181]는 "대부분의 기본 파이썬 문제"의 약자로, 코드 생성을 위해 설계된 모델의 성능을 평가하기 위한 벤치마크를 제공합니다. 이 벤치마크에는 기본 프로그래밍 개념 및 표준 라이브러리 사용법 등 다양한 주제를 포함한 \(974\)개의 짧은 Python 프로그램이 포함되어 있습니다. 각 과제에는 작업 설명, 코드 솔루션 및 3개의 자동화된 테스트 케이스가 포함되어 있습니다. * **HumanEval**[182]은 코드 생성 작업을 위한 데이터 세트입니다. 이 데이터 세트는 \(164\)개의 수작업으로 제작된 프로그래밍 챌린지로 구성되어 있습니다. 각 챌린지는 함수 서명, 문서 문자열, 코드 본문 및 여러 단위 테스트와 함께 제공됩니다. 이 데이터 세트를 개발한 주요 직관은 코드 생성 모델의 학습 데이터 세트에서 해당 콘텐츠를 배제할 수 있도록 하기 위해서입니다. * **APPS**[183]는 파이썬 프로그래밍 언어에 초점을 맞춘 코드 생성 작업을 위해 설계되었습니다. APPS 데이터 세트에는 \(232,444\)개의 Python 프로그램 컬렉션이 포함되어 있습니다. 데이터 세트의 각 프로그램에는 평균 \(18\) 줄의 Python 코드가 있습니다. 또한 APPS는 텍스트 기반 문제 설명이 있는 \(10,000\) 개의 고유한 프로그래밍 연습 문제 리포지토리에 대한 액세스를 제공합니다. 마지막으로 강조하고 싶은 점은 테스트 케이스가 포함되어 있다는 점입니다. * **WikiSQL**[184]은 코드 생성 작업을 위해 제작되었으며, 위키백과 테이블에서 87,726쌍의 조심스럽게 레이블이 지정된 SQL 쿼리와 해당 자연어 질문으로 구성되어 있습니다. SQL 쿼리는 테스트 세트(\(17,284\) 예제), 개발(\(9,145\) 예제), 훈련(\(61,297\) 예제)의 세 가지 하위 집합으로 구성됩니다. * **TriviaQA**[185]는 QA 작업을 위해 설계되었습니다. 이 데이터 세트는 \(650,000\) 개 이상의 질문-답변-증거 트리플로 구성됩니다. 이 데이터 세트에는 \(95,000\) 개의 질문-답변 쌍이 있으며, 각 쌍은 퀴즈 애호가가 작성하고 평균 6 개의 독립적으로 소싱 된 증거 문서로 지원합니다. 이러한 문서는 위키백과 또는 광범위한 웹 검색 결과에서 자동으로 획득됩니다. 데이터 세트는 위키백과 및 웹 도메인의 실제 답변이 있는 데이터 세트와 검증된 데이터 세트로 정확하게 답변된 질문과 위키백과 및 온라인의 관련 문서가 포함된 데이터 세트로 구성되는 두 가지 부분으로 분류됩니다.