While humans also have a preference of premise orders for reasoning problems, LLMs are much more susceptible to such ordering effects. We can attempt to ascribe the premise order effect to several candidate factors, such as the auto-regressive model design, training objectives, and training data mixture. However, we leave proposing theoretical explanations of this limitation and developing new techniques towards addressing the premise order effect as future work.
LLMs도 추론 문제에 대한 전제 순서에 대한 선호도가 있지만, LLMs는 이러한 순서 효과에 훨씬 더 취약합니다. 우리는 전제 순서 효과를 auto-regressive 모델 설계, training objectives 및 training data mixture와 같은 몇 가지 후보 요인에 기인시킬 수 있습니다. 그러나 이러한 한계에 대한 이론적 설명을 제안하고 전제 순서 효과를 해결하기 위한 새로운 기술을 개발하는 것은 향후 작업으로 남겨두고자 합니다.
인간도 추론 문제에 대한 전제 순서에 대한 선호도가 있지만, LLM은 이러한 순서 효과에 훨씬 더 취약합니다. 우리는 전제 순서 효과를 자동 회귀 모델 설계, 훈련 목표 및 훈련 데이터 혼합과 같은 몇 가지 후보 요인에 기인시킬 수 있습니다. 그러나 이러한 한계에 대한 이론적 설명을 제안하고 전제 순서 효과를 해결하기 위한 새로운 기술을 개발하는 것은 향후 작업으로 남겨두고자 합니다.