In this work, we show that the premise order significantly affects LLMs' performance on reasoning tasks, even when the premise order does not change the underlying task itself. Our comprehensive evaluation demonstrates that LLM tendencies resemble human preference w.r.t. premise order, i.e., LLMs achieve the best performance when the premise order follows the intermediate reasoning steps to solve the problem. Conversely, LLMs face difficulties when the reasoning problem requires the model to read the problem description back-and-forth, resulting in a performance drop of over 30%. We further extend the study to mathematical reasoning and present the R-GSM benchmark, and again experimentally confirm the ordering effect.
이 연구에서 우리는 전제 순서가 기본 과제 자체를 변경하지 않더라도 LLM의 추론 작업 성능에 크게 영향을 미친다는 것을 보여줍니다. 우리의 종합적인 평가 결과, LLM의 경향이 전제 순서에 대한 인간의 선호와 유사하다는 것을 입증합니다. 즉, LLM은 문제를 해결하기 위한 중간 추론 단계를 따르는 전제 순서에서 최고의 성능을 발휘합니다. 반대로, 추론 문제가 모델이 문제 설명을 앞뒤로 읽어야 하는 경우, 성능이 30% 이상 감소하는 어려움을 겪습니다. 우리는 이 연구를 수학적 추론으로 확장하여 R-GSM 벤치마크를 제시하고, 다시 한 번 순서 효과를 실험적으로 확인합니다.
이 연구에서는 전제 순서가 기본적인 과제 자체를 바꾸지 않더라도 전제 순서가 추론 과제에 대한 LLM의 성능에 상당한 영향을 미친다는 것을 보여줍니다. 포괄적인 평가를 통해 LLM의 성향이 전제 순서와 관련하여 인간의 선호도와 유사하다는 것을 보여주었습니다. 즉, 전제 순서가 문제 해결을 위한 중간 추론 단계를 따를 때 LLM이 가장 우수한 성능을 달성한다는 것을 보여주었습니다. 반대로 추론 문제가 모델이 문제 설명을 앞뒤로 읽어야 하는 경우 성능이 30% 이상 저하되는 등 어려움을 겪습니다. 또한 수학적 추론으로 연구를 확장하여 R-GSM 벤치마크를 제시하고, 다시 한 번 실험적으로 순서 효과를 확인했습니다.