RACE in the first group has a prompting format similar to MMLU: both consist of multi-choice examination questions with in-context demonstrations, but their performance curves are quite different. We hypothesis that it is the task difficulty that makes the difference. Tasks of the first group of datasets are easier than those of the second group. For example, RACE requires the model to select correct answers for questions about a given article, and HellaSwag lets the model to select the possible followup of a situation based on commonsense. In contrast, MMLU and C-Eval consist of questions designed for high school, college, or professional examinations, requiring a broader range of knowledge. GSM8K and GSM8K-Chinese are math word problems that are used to be considered as impossible to solve by pre-trained language models without Chain-of-Thought prompting.
첫 번째 그룹의 RACE는 문맥 내 데모가 있는 객관식 시험 문제로 구성되어 MMLU와 유사한 prompting 형식을 사용하지만, 성능 곡선은 상당히 다릅니다. 우리는 그 차이를 만드는 것이 과제의 난이도라는 가설을 세웁니다. 첫 번째 데이터 세트의 과제는 두 번째 데이터 세트의 과제보다 쉽습니다. 예를 들어, RACE는 모델이 주어진 기사에 대한 질문에 대한 정답을 선택하도록 요구하고, HellaSwag는 모델이 상식을 바탕으로 상황의 가능한 후속 조치를 선택하도록 합니다. 반면에 MMLU와 C-Eval은 고등학교, 대학 또는 전문 시험용으로 고안된 문제로 구성되어 더 넓은 범위의 지식이 필요합니다. GSM8K와 GSM8K-Chinese는 Chain-of-Thought prompting 없이는 사전 학습된 언어 모델이 풀 수 없는 것으로 간주되던 수학 워드 문제입니다.
첫 번째 그룹의 RACE는 문맥 내 데모가 있는 객관식 시험 문제로 구성되어 MMLU와 유사한 프롬프트 형식을 사용하지만, 성능 곡선은 상당히 다릅니다. 우리는 그 차이를 만드는 것이 과제의 난이도라는 가설을 세웁니다. 첫 번째 데이터 세트의 과제는 두 번째 데이터 세트의 과제보다 쉽습니다. 예를 들어, RACE는 모델이 주어진 기사에 대한 질문에 대한 정답을 선택하도록 요구하고, HellaSwag는 모델이 상식을 바탕으로 상황의 가능한 후속 조치를 선택하도록 합니다. 반면에 MMLU와 C-Eval은 고등학교, 대학 또는 전문 시험용으로 고안된 문제로 구성되어 더 넓은 범위의 지식이 필요합니다. GSM8K와 GSM8K-Chinese는 생각의 연쇄 프롬프트 없이는 사전 학습된 언어 모델이 풀 수 없는 것으로 간주되던 수학 워드 문제입니다.