Besides logical reasoning, we construct R-GSM to further investigate the ordering effect on mathematical reasoning. Specifically, we build R-GSM on top of a subset of GSM8K experiments, where we change the order of sentences in the problem description and manually verify that the ground truth answer remains the same. Our experiments again show that the performance of all LLMs notably drop, especially on longer problems that require more reasoning steps.
논리적 추론 외에도, 우리는 수학적 추론에 대한 순서 효과를 추가로 조사하기 위해 R-GSM을 구성합니다. 구체적으로, 우리는 문제 설명에서 문장의 순서를 변경하고 정답이 동일하게 유지되는지 수동으로 확인하는 GSM8K 실험의 하위 집합을 기반으로 R-GSM을 구축합니다. 우리의 실험은 모든 LLM의 성능이 특히 더 많은 추론 단계를 요구하는 긴 문제에서 현저히 떨어진다는 것을 다시 한 번 보여줍니다.
논리적 추론 외에도 수학적 추론에 대한 순서 효과를 더 자세히 조사하기 위해 R-GSM을 구축했습니다. 특히, 문제 설명에서 문장의 순서를 변경하고 지상 실측 답이 동일하게 유지되는지 수동으로 검증하는 GSM8K 실험의 하위 집합을 기반으로 R-GSM을 구축했습니다. 실험 결과, 모든 LLM의 성능이 눈에 띄게 떨어지는 것으로 나타났으며, 특히 더 많은 추론 단계가 필요한 긴 문제에서 더욱 그러했습니다.