**Order effect for human logical reasoning.** Although the premise order does not matter in deductive reasoning, several studies show that the premise order can impact the human reasoning performance (Dekeyser et al., 2000; Girotto et al., 1997). Dekeyser et al. (2000) described _co-reference_ as a human preference of premise order; i.e., humans prefer the premises to be presented in an order where they can draw immediate conclusions after seeing each one. In this work, we show that LLMs also have such a preference, and they achieve the best performance when the ordering of rules follows the ground truth proof. Girotto et al. (1997) studied how the premise order affects logical reasoning for humans, and found that the premise order has a significant effect in solving _modus tollens_ problems (i.e., if P, then Q; not Q; therefore, not P), but not _modus ponens_ problems (i.e., if P, then Q; P; therefore, Q). However, differing from our work, they studied the influence of different ordering between rules and facts, e.g., their experiments on _modus tollens_ problems show that presenting negation statements (not Q) before rules (if P, then Q) improves the performance over the reverse order. On the other hand, our work focuses on _modus ponens_ problems that are easier for both humans and LLMs, and we show that the LLM performance is still quite sensitive to the ordering of the premises.
**Order effect for human logical reasoning.** 연역적 추론에서는 전제 순서가 중요하지 않지만, 여러 연구에 따르면 전제 순서가 인간의 추론 성능에 영향을 미칠 수 있다고 합니다(Dekeyser et al., 2000; Girotto et al., 1997). Dekeyser 등(2000)은 _공동 참조_를 전제 순서에 대한 인간의 선호도, 즉 인간은 각 전제를 본 후 즉각적인 결론을 도출할 수 있는 순서로 전제를 제시하는 것을 선호한다고 설명했습니다. 이 연구에서는 LLMs도 이러한 선호도를 가지고 있으며, 규칙의 순서가 실측 증명을 따를 때 가장 좋은 성능을 달성한다는 것을 보여 줍니다. Girotto 등(1997)은 전제 순서가 인간의 논리적 추론에 어떤 영향을 미치는지 연구한 결과, 전제 순서가 _모두스 톨렌스_ 문제(즉, P이면 Q, Q가 아니므로 P가 아니다)를 푸는 데는 큰 영향을 미치지만 _모두스 포넨스_ 문제(즉, P이면 Q, P이므로 Q)에는 영향을 미치지 않는다는 것을 발견했습니다. 그러나 우리 연구와 달리 그들은 규칙과 사실 사이의 다른 순서의 영향, 예를 들어 _모두스 톨렌스_ 문제에 대한 실험을 통해 부정 진술(Q가 아님)을 규칙(P이면 Q)보다 먼저 제시하면 그 반대 순서보다 성능이 향상된다는 것을 보여주었습니다. 반면에 우리 연구는 인간과 LLMs 모두에게 더 쉬운 _모두스 포넨스_ 문제에 초점을 맞추고 있으며, LLMs 성능이 전제의 순서에 여전히 매우 민감하다는 것을 보여줍니다.
**인간의 논리적 추론에 대한 순서 효과.** 연역적 추론에서는 전제 순서가 중요하지 않지만, 여러 연구에 따르면 전제 순서가 인간의 추론 성능에 영향을 미칠 수 있다고 합니다(Dekeyser et al., 2000; Girotto et al., 1997). Dekeyser 등(2000)은 _공동 참조_를 전제 순서에 대한 인간의 선호도, 즉 인간은 각 전제를 본 후 즉각적인 결론을 도출할 수 있는 순서로 전제를 제시하는 것을 선호한다고 설명했습니다. 이 연구에서는 LLM도 이러한 선호도를 가지고 있으며, 규칙의 순서가 실측 증명을 따를 때 가장 좋은 성능을 달성한다는 것을 보여 줍니다. Girotto 등(1997)은 전제 순서가 인간의 논리적 추론에 어떤 영향을 미치는지 연구한 결과, 전제 순서가 _모두스 톨렌스_ 문제(즉, P이면 Q, Q가 아니므로 P가 아니다)를 푸는 데는 큰 영향을 미치지만 _모두스 포넨스_ 문제(즉, P이면 Q, P이므로 Q)에는 영향을 미치지 않는다는 것을 발견했습니다. 그러나 우리 연구와 달리 그들은 규칙과 사실 사이의 다른 순서의 영향, 예를 들어 _모두스 톨렌스_ 문제에 대한 실험을 통해 부정 진술(Q가 아님)을 규칙(P이면 Q)보다 먼저 제시하면 그 반대 순서보다 성능이 향상된다는 것을 보여주었습니다. 반면에 우리 연구는 인간과 LLM 모두에게 더 쉬운 _모두스 포넨스_ 문제에 초점을 맞추고 있으며, LLM 성능이 전제의 순서에 여전히 매우 민감하다는 것을 보여줍니다.