We conduct a systematic study on the premise order effect using a variety of SoTA LLMs, including GPT-4-turbo, GPT-3.5-turbo (OpenAI, 2023), PaLM 2-L (Google, 2023), and Gemini Pro (Gemini, 2023). Our primary focus is deductive reasoning, and we benchmark all LLMs on problems that only involve _modus ponens_ (if P then Q; P; therefore Q), where all LLMs in our evaluation at least achieve decent performance with a small number of premises. We show that the accuracy decrease caused by different ordering can be more than 30%. The ordering effect is further amplified when irrelevant premises (i.e., premises that are not needed to derive a conclusion) are presented in the prompt. Figure 1 illustrates a failure case, where all LLMs fail to generate the proof after changing the order of relevant rules. Interestingly, while all LLMs perform best when the premise order follows the ground truth proof, they reveal different preferences on other alternative orderings. Specifically, compared to randomly ordering the premises, GPT-4-turbo and GPT-3.5-turbo generally achieve betterperformance when the premise order is exactly the reverse of the ground truth proof, which enables LLMs to perform derivation via backward chaining. On the other hand, PaLM 2-L generally achieves the **worst performance** with such a reversed order.
GPT-4-turbo, GPT-3.5-turbo (OpenAI, 2023), PaLM 2-L (Google, 2023), Gemini Pro (Gemini, 2023) 등 다양한 SoTA LLM을 사용하여 전제 순서 효과에 대한 체계적인 연구를 수행합니다. 우리의 주요 초점은 연역적 추론이며, 모든 LLM이 적어도 소수의 전제만으로도 적절한 성능을 달성하는 _modus ponens_ (if P then Q; P; therefore Q)만 포함하는 문제에 대해 모든 LLM을 벤치마킹합니다. 서로 다른 순서로 인한 정확도 감소는 30% 이상일 수 있습니다. 관련 없는 전제(즉, 결론을 도출하는 데 필요하지 않은 전제)가 prompt에 제시되면 순서 효과는 더욱 증폭됩니다. 그림 1은 모든 LLM이 관련 규칙의 순서를 변경한 후 증명을 생성하지 못하는 실패 사례를 보여줍니다. 흥미롭게도 모든 LLM이 전제 순서가 실측 증명을 따를 때 가장 우수한 성능을 발휘하지만, 다른 대체 순서에 대해서는 서로 다른 선호도를 드러냅니다. 특히, 전제를 무작위로 정렬하는 것에 비해 GPT-4-turbo 및 GPT-3.5-turbo는 일반적으로 전제 순서가 실측 증명의 정확한 반대일 때 더 나은 성능을 달성하며, 이를 통해 LLM은 역방향 체인으로 도출을 수행할 수 있습니다. 반면에 PaLM 2-L은 일반적으로 이러한 역순으로 **최악의 성능**을 달성합니다.
GPT-4-turbo, GPT-3.5-turbo(OpenAI, 2023), PaLM 2-L(Google, 2023), Gemini Pro(Gemini, 2023) 등 다양한 SoTA LLM을 사용하여 전제 순서 효과에 대한 체계적인 연구를 수행합니다. 우리의 주요 초점은 연역적 추론이며, 모든 LLM이 적어도 소수의 전제만으로도 적절한 성능을 달성하는 _모두스 포넨스_(P이면 Q; P; 따라서 Q)만 포함하는 문제에 대해 모든 LLM을 벤치마킹합니다. 서로 다른 순서로 인한 정확도 감소는 30% 이상일 수 있습니다. 관련 없는 전제(즉, 결론을 도출하는 데 필요하지 않은 전제)가 프롬프트에 제시되면 순서 효과는 더욱 증폭됩니다. 그림 1은 모든 LLM이 관련 규칙의 순서를 변경한 후 증명을 생성하지 못하는 실패 사례를 보여줍니다. 흥미롭게도 모든 LLM이 전제 순서가 실측 증명을 따를 때 가장 우수한 성능을 발휘하지만, 다른 대체 순서에 대해서는 서로 다른 선호도를 드러냅니다. 특히, 전제를 무작위로 정렬하는 것에 비해 GPT-4-turbo 및 GPT-3.5-turbo는 일반적으로 전제 순서가 실측 증명의 정확한 반대일 때 더 나은 성능을 달성하며, 이를 통해 LLM은 역방향 체인으로 도출을 수행할 수 있습니다. 반면에 PaLM 2-L은 일반적으로 이러한 역순으로 **최악의 성능**을 달성합니다.