Our evaluation highlights that even in reasoning domains where the premise order **does not matter**, premise order **does matter in LLM reasoning**. Specifically, the premise ordering effect indicates that LLMs are more comfortable reasoning via reading left-to-right instead of back-and-forth, which can be attributed to the auto-regressive model design or the reasoning bias learned from the training corpus. We leave proposing new training and modeling techniques to mitigate the premise order effect as future work.
우리의 평가는 전제 순서가 **중요하지 않은** 추론 영역에서도 전제 순서는 **LLM reasoning에서 중요하다**는 점을 강조합니다. 특히, 전제 순서 효과는 LLM이 앞뒤로 읽는 대신 왼쪽에서 오른쪽으로 읽는 방식을 통해 추론하는 것이 더 편하다는 것을 나타내며, 이는 auto-regressive model 설계 또는 학습 corpus에서 학습된 추론 편향에 기인할 수 있습니다. 전제 순서 효과를 완화하기 위한 새로운 training 및 modeling 기법을 제안하는 것은 향후 작업으로 남겨두겠습니다.
우리의 평가는 전제 순서가 **중요하지 않은** 추론 영역에서도 전제 순서는 **LLM 추론에서 중요하다**는 점을 강조합니다. 특히, 전제 순서 효과는 LLM이 앞뒤로 읽는 대신 왼쪽에서 오른쪽으로 읽는 방식을 통해 추론하는 것이 더 편하다는 것을 나타내며, 이는 자동 회귀 모델 설계 또는 학습 코퍼스에서 학습된 추론 편향에 기인할 수 있습니다. 전제 순서 효과를 완화하기 위한 새로운 훈련 및 모델링 기법을 제안하는 것은 향후 작업으로 남겨두겠습니다.