Prior work has revealed the weaknesses of LLMs in logical reasoning (Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023), especially when the proof is long and requires the knowledge of multiple deduction theorems. To isolate the effect of premise orders, we focus on a confined problem space adapted from SimpleLogic (Zhang et al., 2022), which only includes propositional logic problems with definite clauses. Specifically, each problem includes: (1) a set of facts \(A_{1}\),\(\ldots\), \(A_{n}\) that hold true; (2) a set of rules of the form "If \(X\), then \(Y\)", "If \(X_{0}\) and \(X_{1}\), then \(Y\)", or "If \(X_{0}\) and \(X_{1}\) and \(X_{2}\), then \(Y\)"; and (3) a conclusion "\(C\) is True" to be proved. As opposed to SimpleLogic -- which formulates the problem as a binary classification task (i.e., indicate whether the conclusion is True or False) -- in our benchmark, every problem has a ground-truth label of True, and we consider the prediction to be correct only when the generated proof is completely valid. With these strict criteria, the LLM is required to produce the step-by-step deduction that leads to the conclusion, and any hallucination of non-existent facts and rules is considered erroneous.
이전 연구들은 LLM이 논리적 추론에서 약점을 가지고 있음을 밝혀냈습니다 (Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023). 특히 증명이 길고 여러 가지 연역 정리를 필요로 할 때 이러한 약점이 두드러집니다. 전제 순서의 영향을 분리하기 위해, 우리는 SimpleLogic (Zhang et al., 2022)에서 적응된 제한된 문제 공간에 집중합니다. 이 문제 공간은 명제 논리 문제만 포함하며, 명확한 절을 가지고 있습니다. 구체적으로, 각 문제는 다음을 포함합니다: (1) 참인 사실들의 집합 \(A_{1}\),\(\ldots\), \(A_{n}\); (2) "만약 \(X\)라면, \(Y\)", "만약 \(X_{0}\)와 \(X_{1}\)라면, \(Y\)", 또는 "만약 \(X_{0}\)와 \(X_{1}\)와 \(X_{2}\)라면, \(Y\)" 형태의 규칙 집합; 그리고 (3) 증명해야 할 결론 "\(C\)는 참이다". SimpleLogic이 문제를 이진 분류 작업으로 공식화한 것과 달리 (즉, 결론이 참인지 거짓인지 나타내는 것), 우리의 벤치마크에서는 모든 문제에 참이라는 정답 레이블이 있으며, 생성된 증명이 완전히 유효할 때만 예측이 올바르다고 간주합니다. 이러한 엄격한 기준에 따라, LLM은 결론에 이르는 단계별 연역을 생성해야 하며, 존재하지 않는 사실과 규칙을 환각하는 것은 오류로 간주됩니다.
이전 연구에서는 논리적 추론(Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023)에서 LLM의 약점, 특히 증명이 길고 여러 추론 정리를 알아야 하는 경우에서 LLM의 약점을 밝혀냈습니다. 전제 순서의 효과를 분리하기 위해 명제가 명확한 절이 포함된 명제 논리 문제만 포함하는 SimpleLogic(Zhang et al., 2022)에서 개작한 제한된 문제 공간에 초점을 맞춥니다. 구체적으로, 각 문제에는 (1) 참인 사실 \(A_{1}\),\(\ldots\), \(A_{n}\)의 집합, (2) "X\), then \(Y\)", "X_{0}\) 및 \(X_{1}\), then \(Y\)", 또는 "X_{0}\) 및 \(X_{1}\), then \(Y\)" 형식의 규칙 집합, (3) 증명해야 할 결론 "\(C\)는 참"이 포함됩니다. 결론이 참인지 거짓인지 표시하는 이진 분류 작업(즉, 결론이 참인지 거짓인지 표시하는 이진 분류 작업)으로 문제를 공식화하는 SimpleLogic와 달리, 이 벤치마크에서는 모든 문제에 대해 참이라는 정답 레이블이 있으며, 생성된 증명이 완전히 유효한 경우에만 예측이 정답으로 간주됩니다. 이러한 엄격한 기준을 통해 LLM은 결론에 이르는 단계별 추론을 생성해야 하며, 존재하지 않는 사실과 규칙을 홀로cination하는 것은 오류로 간주됩니다.