Figure 2: R-GSM example where the original problem can be correctly solved by all LLMs in our evaluation, but all of them failed on the reordered one. Different calculation steps and their corresponding problem statements are annotated in light blue. Specifically, the reasoning steps of the original problem follows the ordering of problem statements, while the reordered problem does not.
Figure 2: R-GSM 예제에서는 원래 문제를 평가에 사용된 모든 LLM이 올바르게 해결할 수 있었지만, 재정렬된 문제에서는 모두 실패했습니다. 서로 다른 계산 단계와 해당 문제 진술은 연한 파란색으로 주석이 달려 있습니다. 구체적으로, 원래 문제의 추론 단계는 문제 진술의 순서를 따르지만, 재정렬된 문제는 그렇지 않습니다.
그림 2: 평가에 참여한 모든 LLM이 원래 문제를 올바르게 해결할 수 있지만 순서가 바뀐 문제에서는 모두 실패한 R-GSM 예시입니다. 서로 다른 계산 단계와 그에 해당하는 문제 문장이 하늘색으로 주석 처리되어 있습니다. 특히, 원래 문제의 추론 단계는 문제 진술의 순서를 따르지만, 순서가 바뀐 문제는 그렇지 않습니다.