1. **HellaSwag**(Zellers et al., 2019) and **HellaSwag DE**: An English commonsense reasoning benchmark composed of multiple-choice questions that are deliberately designed to confuse language models. HellaSwag DE is a German translation of the HellaSwag benchmark. 2. **AI2 Reasoning Challenge (ARC)**(Clark et al., 2018): An English commonsense reasoning benchmark composed of science examination questions in multiple-choice format. The \(7,787\) total questions have been divided into an easy subset with \(5,197\) questions and a hard subset with \(2,590\) questions. ARC-c DE is a German translation of the challenge subset of questions. 3. **BoolQ**(Clark et al., 2019): An English reading comprehension benchmark composed of \(15,942\) yes/no question-answering samples. Each example is split into a question, relevant paragraph, and the solution. 4. **MathQA**(Amini et al., 2019): An English math word problem benchmark composed of multiple-choice questions across various areas of mathematics. 5. **MMLU**(Hendrycks et al., 2021) and **MMLU-DE**: An English benchmark designed to evaluate both zero-shot and few-shot scenarios, in order to evaluate both the general knowledge and on-the-fly problem solving of the model under test. MMLU covers a broad range of subjects. MMLU-DE is a German translation of the MMLU question set, which was translated by the OpenAI GPT 3.5 API. 6. **OpenBookQA (OBQA)**(Mihaylov et al., 2018): An English question-answering benchmark modeled after real-world open-book exams for assessing human understanding of a particular subject. Questions about elementary science are paired with scientific facts and common knowledge, which the model is intended to use in multi-hop reasoning. 7. **PIQA**(Bisk et al., 2019): An English question-answering benchmark designed to test the physical commonsense reasoning abilities of the model. Most questions focus on applying uncommon solutions to everyday situations, which requires understanding of the physical world. 8. **WinoGrande**(Sakaguchi et al., 2019): An English natural language understanding benchmark that involves determining when two or more expressions in a text refer to the same entity. The benchmark includes a diverse set of sentences and a new evaluation metric that rewards models for making human-like predictions. 9. **TruthfulQA** and **TruthfulQA DE**(Lin et al., 2022): An English question-answering benchmark designed to evaluate the truthfulness of generated answers to questions. The questions are designed to contain common human misunderstandings that lead to incorrect answers. TruthfulQA DE is a German translation of the TruthfulQA benchmark. 10. **Natural Questions**(Kwiatkowski et al., 2019): Is an English question-answering benchmark consisting of search queries submitted to the Google search engine. 11. **TriviaQA**(Joshi et al., 2017): Is an English question-answering benchmark comprised of question-answer pairs provided by trivia enthusiasts. Its main focus is to determine a model's general world knowledge.
1. **HellaSwag**(Zellers et al., 2019) 및 **HellaSwag DE**: 의도적으로 언어 모델을 혼동하도록 설계된 객관식 문제로 구성된 영어 상식 추론 벤치마크입니다. HellaSwag DE는 HellaSwag 벤치마크의 독일어 번역본입니다. 2. **AI2 Reasoning Challenge (ARC)**(Clark et al., 2018): 객관식 형식의 과학 시험 문제로 구성된 영어 상식 추론 벤치마크입니다. 총 7,787개의 문제는 5,197개의 문제가 포함된 쉬운 하위 집합과 2,590개의 문제가 포함된 어려운 하위 집합으로 나뉘어져 있습니다. ARC-c DE는 챌린지 문제 하위 집합의 독일어 번역본입니다. 3. **BoolQ**(Clark et al., 2019): 예/아니오 질문-답변 샘플 15,942개로 구성된 영어 독해 벤치마크입니다. 각 예제는 질문, 관련 단락, 해답으로 나뉩니다. 4. **MathQA**(Amini et al., 2019): 다양한 수학 영역에 걸쳐 객관식 문제로 구성된 영어 수학 낱말 문제 벤치마크입니다. 5. **MMLU**(Hendrycks et al., 2021) 및 **MMLU-DE**: zero-shot 및 few-shot 시나리오를 모두 평가하기 위해 설계된 영어 벤치마크로, 테스트 중인 모델의 일반 지식과 즉석에서의 문제 해결 능력을 모두 평가할 수 있습니다. MMLU는 광범위한 주제를 다룹니다. MMLU-DE는 OpenAI GPT 3.5 API로 번역된 MMLU 문제 세트의 독일어 번역본입니다. 6. **OpenBookQA (OBQA)**(Mihaylov et al., 2018): 특정 주제에 대한 인간의 이해를 평가하기 위해 실제 오픈북 시험을 모델링한 영어 질문응답 벤치마크입니다. 초등 과학에 관한 질문은 과학적 사실과 상식과 짝을 이루며, 모델은 다중 홉 추론에 사용할 수 있습니다. 7. **PIQA**(Bisk et al., 2019): 모델의 물리적 상식 추론 능력을 테스트하기 위해 설계된 영어 질문응답 벤치마크입니다. 대부분의 질문은 일상적인 상황에 흔하지 않은 해결책을 적용하는 데 초점을 맞추며, 이를 위해서는 물리적 세계에 대한 이해가 필요합니다. 8. **WinoGrande**(Sakaguchi et al., 2019): 텍스트에서 두 개 이상의 표현이 동일한 엔티티를 참조하는 시기를 결정하는 영어 자연어 이해 벤치마크입니다. 이 벤치마크에는 다양한 문장 세트와 인간과 유사한 예측을 하도록 모델에 보상을 주는 새로운 평가 지표가 포함되어 있습니다. 9. **TruthfulQA** 및 **TruthfulQA DE**(Lin et al., 2022): 질문에 대한 생성된 답변의 진실성을 평가하기 위해 설계된 영어 질문응답 벤치마크입니다. 이 질문은 잘못된 답변으로 이어지는 인간의 일반적인 오해를 포함하도록 설계되었습니다. TruthfulQA DE는 TruthfulQA 벤치마크의 독일어 번역본입니다. 10. **Natural Questions**(Kwiatkowski et al., 2019): Google 검색 엔진에 제출된 검색 쿼리로 구성된 영어 질문응답 벤치마크입니다. 11. **TriviaQA**(Joshi et al., 2017): 퀴즈 애호가들이 제공한 질문-답변 쌍으로 구성된 영어 질문응답 벤치마크입니다. 이 벤치마크의 주요 초점은 모델의 일반적인 세계 지식을 파악하는 것입니다.
1. 헬라스왐크(Zellers et al., 2019) 및 헬라스왐크 DE**: 의도적으로 언어 모델을 혼동하도록 설계된 객관식 문제로 구성된 영어 상식 추론 벤치마크입니다. 헬라스왐크 DE는 헬라스왐크 벤치마크의 독일어 번역본입니다. 2. AI2 추론 챌린지(ARC)**(Clark et al., 2018): 객관식 형식의 과학 시험 문제로 구성된 영어 상식 추론 벤치마크입니다. 총 7,787개의 문제는 5,197개의 문제가 포함된 쉬운 하위 집합과 2,590개의 문제가 포함된 어려운 하위 집합으로 나뉘어져 있습니다. ARC-c DE는 챌린지 문제 하위 집합의 독일어 번역본입니다. 3. **BoolQ**(Clark et al., 2019): 예/아니오 질문-답변 샘플 15,942개로 구성된 영어 독해 벤치마크입니다. 각 예제는 질문, 관련 단락, 해답으로 나뉩니다. 4. **MathQA**(Amini et al., 2019): 다양한 수학 영역에 걸쳐 객관식 문제로 구성된 영어 수학 낱말 문제 벤치마크입니다. 5. **MMLU**(Hendrycks et al., 2021) 및 **MMLU-DE**: 제로 샷 및 몇 개의 샷 시나리오를 모두 평가하기 위해 설계된 영어 벤치마크로, 테스트 중인 모델의 일반 지식과 즉석에서의 문제 해결 능력을 모두 평가할 수 있습니다. MMLU는 광범위한 주제를 다룹니다. MMLU-DE는 OpenAI GPT 3.5 API로 번역된 MMLU 문제 세트의 독일어 번역본입니다. 6. **OpenBookQA(OBQA)**(Mihaylov et al., 2018): 특정 주제에 대한 인간의 이해를 평가하기 위해 실제 오픈북 시험을 모델링한 영어 질문응답 벤치마크입니다. 초등 과학에 관한 질문은 과학적 사실과 상식과 짝을 이루며, 모델은 다중 홉 추론에 사용할 수 있습니다. 7. **PIQA**(Bisk et al., 2019): 모델의 물리적 상식 추론 능력을 테스트하기 위해 설계된 영어 질문응답 벤치마크입니다. 대부분의 질문은 일상적인 상황에 흔하지 않은 해결책을 적용하는 데 초점을 맞추며, 이를 위해서는 물리적 세계에 대한 이해가 필요합니다. 8. **WinoGrande**(Sakaguchi et al., 2019): 텍스트에서 두 개 이상의 표현이 동일한 엔티티를 참조하는 시기를 결정하는 영어 자연어 이해 벤치마크입니다. 이 벤치마크에는 다양한 문장 세트와 인간과 유사한 예측을 하도록 모델에 보상을 주는 새로운 평가 지표가 포함되어 있습니다. 9. **진실한QA** 및 **진실한QA DE**(Lin et al., 2022): 질문에 대한 생성된 답변의 진실성을 평가하기 위해 설계된 영어 질문응답 벤치마크입니다. 이 질문은 잘못된 답변으로 이어지는 인간의 일반적인 오해를 포함하도록 설계되었습니다. 진실한QA DE는 진실한QA 벤치마크의 독일어 번역본입니다. 10. **내추럴 퀘스천**(크위아트코프스키 외., 2019): Google 검색 엔진에 제출된 검색 쿼리로 구성된 영어 질문응답 벤치마크입니다. 11. **TriviaQA**(Joshi et al., 2017): 퀴즈 애호가들이 제공한 질문-답변 쌍으로 구성된 영어 질문응답 벤치마크입니다. 이 벤치마크의 주요 초점은 모델의 일반적인 세계 지식을 파악하는 것입니다.