* **GSM8K**[190] is designed to evaluate the model's ability for multi-step mathematical reasoning. GSM8K includes 8.5K linguistically diverse grade school math word problems written by humans. The dataset is split into two sets: a training set with \(7.5K\) problems, and a test set with \(1\)K problems. These problems need \(2\) to \(8\) steps to be solved. Solutions mainly are a series of elementary calculations using basic arithmetic operations. * **MATH**[191] enables to assess how well models can solve math problems. MATH dataset last \(12\), \(500\) problems from high school math competitions. Each problem in the dataset has a step-by-step solution and a final answer enclosed in a box. The problems cover a wide range of topics and have different levels of complexity. There are seven subjects in total. Furthermore, the difficulty of each problem is rated based on the AoPS standards on a scale from \({}^{\prime}1^{\prime}\) to \({}^{\prime}5^{\prime}\). A \({}^{\prime}1^{\prime}\) shows the easiest problems in a subject, while \({}^{\prime}5^{\prime}\) represents the most difficult. In terms of formatting, all problems and solutions are presented using LATEX and the Asymptote vector graphics language. * **HellaSwag**[192] is designed to assess commonsense reasoning in LLMs. This benchmark includes \(70,000\) multiple-choice questions. Each question is derived from one of two domains: ActivityNet or WikiHow, and presents four answer choices regarding what might happen in the following situation.
* **GSM8K**[190]은 모델의 다단계 수학적 추론 능력을 평가하기 위해 고안되었습니다. GSM8K에는 인간이 작성한 언어적으로 다양한 초등학생 수학 워드 문제 8.5K가 포함되어 있습니다. 이 데이터 세트는 두 개의 세트로 나뉩니다: 7.5K개의 문제가 포함된 training set와 1K개의 문제가 포함된 test set입니다. 이 문제들은 풀기 위해 2~8단계가 필요합니다. 솔루션은 주로 기본 산술 연산을 사용하는 일련의 초등 계산입니다. * **MATH**[191]는 모델이 수학 문제를 얼마나 잘 풀 수 있는지 평가할 수 있습니다. MATH 데이터 세트는 고등학교 수학 경시대회에서 마지막으로 12,500 문제를 수행합니다. 데이터 세트의 각 문제에는 단계별 풀이와 최종 답이 박스 안에 들어 있습니다. 문제는 다양한 주제를 다루며 복잡도가 다양합니다. 총 7개의 과목이 있습니다. 또한 각 문제의 난이도는 AoPS 표준에 따라 '1'에서 '5'까지의 척도로 평가됩니다. '1'은 한 과목에서 가장 쉬운 문제를 나타내며, '5'는 가장 어려운 문제를 나타냅니다. 서식 면에서 모든 문제와 해결책은 LATEX와 Asymptote 벡터 그래픽 언어를 사용하여 제시됩니다. * **HellaSwag**[192]는 LLM의 상식적 추론을 평가하기 위해 고안되었습니다. 이 benchmark에는 70,000개의 객관식 문제가 포함되어 있습니다. 각 문제는 ActivityNet 또는 WikiHow 중 하나의 도메인에서 파생되며, 다음 상황에서 일어날 수 있는 일에 대해 네 가지 답안을 제시합니다.
* **GSM8K**[190]은 모델의 다단계 수학적 추론 능력을 평가하기 위해 고안되었습니다. GSM8K에는 인간이 작성한 언어적으로 다양한 초등학생 수학 워드 문제 8.5K가 포함되어 있습니다. 이 데이터 세트는 두 개의 세트로 나뉩니다: 7.5K개의 문제가 포함된 학습 세트와 1K개의 문제가 포함된 테스트 세트입니다. 이 문제들은 풀기 위해 2~8단계가 필요합니다. 솔루션은 주로 기본 산술 연산을 사용하는 일련의 초등 계산입니다. * **MATH**[191]는 모델이 수학 문제를 얼마나 잘 풀 수 있는지 평가할 수 있습니다. MATH 데이터 세트는 고등학교 수학 경시대회에서 마지막으로 \(12\), \(500\) 문제를 수행합니다. 데이터 세트의 각 문제에는 단계별 풀이와 최종 답이 박스 안에 들어 있습니다. 문제는 다양한 주제를 다루며 복잡도가 다양합니다. 총 7개의 과목이 있습니다. 또한 각 문제의 난이도는 AoPS 표준에 따라 \({}^{\prime}1^{\prime}\)에서 \({}^{\prime}5^{\prime}\)까지의 척도로 평가됩니다. 1^{\프라임}\은 한 과목에서 가장 쉬운 문제를 나타내며, \({}^{\프라임}5^{\프라임}\은 가장 어려운 문제를 나타냅니다. 서식 면에서 모든 문제와 해결책은 LATEX와 Asymptote 벡터 그래픽 언어를 사용하여 제시됩니다. * 헬라스웨그**[192]는 LLM의 상식적 추론을 평가하기 위해 고안되었습니다. 이 벤치마크에는 \(70,000\)개의 객관식 문제가 포함되어 있습니다. 각 문제는 액티비티넷 또는 위키하우 중 하나의 도메인에서 파생되며, 다음 상황에서 일어날 수 있는 일에 대해 네 가지 답안을 제시합니다.