process, for each problem, we write a simple function to enumerate all alternative orderings of problem statements until an ordering that causes the LLM prediction failure is discovered, which can be used for our manual rewriting if the alternative ordering found in the enumeration process happens to preserve the ground truth answer. In total, our R-GSM benchmark contains 220 pairs of problems, including both the original GSM8K problem description and the manually rewritten one with a different ordering of problem statements. Despite that over 60% of problems in R-GSM only have 5 sentences, and all problems have at most 8 sentences, our evaluation shows that all LLMs still perform considerably worse on rewritten problems. Figure 2 presents an example in R-GSM where all LLMs correctly solve the original problem but not the rewritten one. Specifically, the reasoning steps for the original problem follows the ordering of problem statements, while for the rewritten problem, the second calculation step in the correct solution should refer to the second-to-last sentence instead of the second sentence in the problem description. We provide a more detailed case study in Section 3.3, and present the full dataset statistics in Appendix A.
각 문제에 대해, 우리는 LLM 예측 실패를 유발하는 순서를 발견할 때까지 문제 진술의 모든 대체 순서를 열거하는 간단한 함수를 작성합니다. 이 과정에서 발견된 대체 순서가 정답을 유지하는 경우, 수동으로 재작성하는 데 사용할 수 있습니다. 총 220쌍의 문제를 포함하는 R-GSM 벤치마크는 원래의 GSM8K 문제 설명과 문제 진술의 순서를 다르게 한 수동으로 재작성된 설명을 포함합니다. R-GSM의 60% 이상의 문제는 단 5개의 문장만 포함하고 있으며, 모든 문제는 최대 8개의 문장을 포함하고 있음에도 불구하고, 우리의 평가 결과 모든 LLM이 재작성된 문제에서 상당히 더 나쁜 성능을 보였습니다. Figure 2는 모든 LLM이 원래 문제를 올바르게 해결하지만 재작성된 문제는 해결하지 못하는 R-GSM의 예를 보여줍니다. 구체적으로, 원래 문제의 추론 단계는 문제 진술의 순서를 따르지만, 재작성된 문제의 경우 올바른 해결책의 두 번째 계산 단계는 문제 설명의 두 번째 문장이 아닌 끝에서 두 번째 문장을 참조해야 합니다. 섹션 3.3에서 더 자세한 사례 연구를 제공하며, 부록 A에서 전체 데이터셋 통계를 제시합니다.
프로세스에서 각 문제에 대해 LLM 예측 실패를 유발하는 순서가 발견될 때까지 문제 진술의 모든 대체 순서를 열거하는 간단한 함수를 작성하여 수동 재작성에 사용할 수 있으며, 열거 프로세스에서 발견된 대체 순서가 지상 진실 답을 보존하는 경우 수동 재작설에 사용할 수 있습니다. R-GSM 벤치마크에는 총 220쌍의 문제가 포함되어 있으며, 원래 GSM8K 문제 설명과 문제 진술의 순서가 다른 수동으로 재작성된 문제가 모두 포함되어 있습니다. R-GSM의 문제 중 60% 이상이 5문장으로만 구성되어 있고 모든 문제가 최대 8문장으로 구성되어 있음에도 불구하고 평가 결과 모든 LLM이 재작성된 문제에서 상당히 더 나쁜 성능을 보였습니다. 그림 2는 모든 LLM이 원래 문제는 정확하게 풀었지만 재작성된 문제는 풀지 못한 R-GSM의 예를 보여줍니다. 구체적으로, 원래 문제에 대한 추론 단계는 문제 진술의 순서를 따르지만, 재작성된 문제의 경우 정답의 두 번째 계산 단계는 문제 설명의 두 번째 문장이 아닌 두 번째에서 마지막 문장을 참조해야 합니다. 더 자세한 사례 연구는 섹션 3.3에서 제공하며, 전체 데이터 세트 통계는 부록 A에 나와 있습니다.