To further assess the effect of premise orders beyond logical reasoning, we construct the R-GSM dataset based on GSM8K (Cobbe et al., 2021), which is a popular benchmark of grade school math word problems. Specifically, we first select GSM8K test problems with at least 5 sentences in the problem description, then filter out those problems where there is no alternative ordering that does not change the ground truth answer, e.g., problem statements that follow the causal order of an event series. For each of the remaining problem, we keep the last sentence untouched and rewrite the problem description with a different ordering of other sentences. Minor editing on words is allowed to ensure the grammatical correctness of the problem description.
논리적 추론을 넘어 전제 조건의 효과를 더욱 평가하기 위해, 우리는 초등학교 수학 낱말 문제의 대중적인 벤치마크인 GSM8K(Cobbe et al., 2021)를 기반으로 R-GSM 데이터 세트를 구성합니다. 구체적으로, 먼저 문제 설명에 최소 5개의 문장이 있는 GSM8K 테스트 문제를 선택한 다음, 사건 시리즈의 인과적 순서를 따르는 문제 진술과 같이 ground truth answer를 변경하지 않는 대체 순서가 없는 문제를 걸러냅니다. 나머지 각 문제에 대해 마지막 문장은 그대로 두고 다른 문장의 순서를 바꾸어 문제 설명을 다시 작성합니다. 문제 설명의 문법적 정확성을 보장하기 위해 단어를 약간 편집할 수 있습니다.
논리적 추론을 넘어 전제 조건의 효과를 더욱 평가하기 위해, 우리는 초등학교 수학 낱말 문제의 대중적인 벤치마크인 GSM8K(Cobbe et al., 2021)를 기반으로 R-GSM 데이터 세트를 구성합니다. 구체적으로, 먼저 문제 설명에 최소 5개의 문장이 있는 GSM8K 테스트 문제를 선택한 다음, 사건 시리즈의 인과적 순서를 따르는 문제 진술과 같이 지답을 변경하지 않는 대체 순서가 없는 문제를 걸러냅니다. 나머지 각 문제에 대해 마지막 문장은 그대로 두고 다른 문장의 순서를 바꾸어 문제 설명을 다시 작성합니다. 문제 설명의 문법적 정확성을 보장하기 위해 단어를 약간 편집할 수 있습니다.