The key characteristic of our benchmark is that for each logical reasoning problem, we **synthetically generate variants** with **different premise orders.** Specifically, we denote the order that conforms to the ground truth proof with forward chaining as the _forward_ order, where the rule applied in each derivation step is sequentially presented in the problem description. Intuitively, presenting premises in the forward order simplifies the problem for humans, as this allows us to write the proof on-the-fly while reading the premises. Conversely, a premise ordering that is more random increases the task difficulty, since carrying out the derivation requires us to repetitively look for premises for each reasoning step. Motivated by this intuition, we categorize different premise orders based on their Kendall tau distance \(\tau\)(Cicirello, 2019; Sen, 1968) to the forward order, normalized into the range \([-1,1]\). Specifically, \(\tau=1\) is the _forward_ order, and we denote the order with \(\tau=-1\) as the _backward_ order, which is the reverse of the forward order and aligns with the proof via backward chaining. \(\tau\approx 0\) suggests that there is no strong correlation between the premise order in the problem description and the proof. To thoroughly investigate the LLM preference on different premise orders, we evaluate the model performance on \(\tau=0.5\), \(0\) and \(-0.5\), in addition to the forward (\(\tau=1\)) and backward (\(\tau=-1\)) orders. We present examples with \(\tau=1\) and \(0\) in Figure 1, and defer examples with other \(\tau\) values to Figure 11 in Appendix B.
우리 벤치마크의 주요 특징은 각 논리 추론 문제에 대해 **전제 순서가 다른 변형**을 **합성적으로 생성**한다는 것입니다. 구체적으로, forward chaining으로 접근하는 지상 실증에 부합하는 순서를 _forward_ 순서로 표시하며, 각 도출 단계에서 적용된 규칙이 문제 설명에 순차적으로 제시됩니다. 직관적으로, 전제를 forward 순서로 제시하면 전제를 읽으면서 증명을 즉시 작성할 수 있으므로 사람에게는 문제가 더 간단해집니다. 반대로, 더 무작위적인 전제 순서를 제시하면 도출을 수행하기 위해 각 추론 단계에 대한 전제를 반복적으로 찾아야 하므로 작업 난이도가 높아집니다. 이러한 직관에 힘입어, 우리는 Kendall tau 거리(\(\tau\))(Cicirello, 2019; Sen, 1968)를 기준으로 다양한 전제 순서를 forward 순서로 정규화하여 \([-1,1]\) 범위로 분류합니다. 구체적으로, \(\tau=1\)은 _forward_ 순서이며, \(\tau=-1\)의 순서를 forward 순서의 반대이며 backward chaining을 통해 증명과 일치하는 _backward_ 순서로 표시합니다. \(\tau\approx 0\)은 문제 설명의 전제 순서와 증명 사이에 강한 상관관계가 없음을 의미합니다. 다양한 전제 순서에 대한 LLM 선호도를 철저히 조사하기 위해 forward(\(\tau=1\)) 및 backward(\(\tau=-1\)) 순서 외에도 \(\tau=0.5\), \(0\) 및 \(-0.5\)에 대한 모델 성능을 평가합니다. 그림 1에 \(\tau=1\) 및 \(0\)의 예를 제시하고, 다른 \(\tau\) 값의 예는 부록 B의 그림 11로 미루어 둡니다.
우리 벤치마크의 주요 특징은 각 논리 추론 문제에 대해 **전제 순서가 다른 변형**을 **합성적으로 생성**한다는 것입니다. 구체적으로, 포워드 체인으로 접근하는 지상 실증에 부합하는 순서를 포워드 순서로 표시하며, 각 도출 단계에서 적용된 규칙이 문제 설명에 순차적으로 제시됩니다. 직관적으로, 전제를 순방향 순서로 제시하면 전제를 읽으면서 증명을 즉시 작성할 수 있으므로 사람에게는 문제가 더 간단해집니다. 반대로, 더 무작위적인 전제 순서를 제시하면 도출을 수행하기 위해 각 추론 단계에 대한 전제를 반복적으로 찾아야 하므로 작업 난이도가 높아집니다. 이러한 직관에 힘입어, 우리는 켄달 타우 거리(\tau)(Cicirello, 2019; Sen, 1968)를 기준으로 다양한 전제 순서를 포워드 순서로 정규화하여 \([-1,1]\) 범위로 분류합니다. 구체적으로, \(\tau=1\)은 _포워드_ 순서이며, \(\tau=-1\)의 순서를 포워드 순서의 반대이며 백워드 체인을 통해 증명과 일치하는 _백워드_ 순서로 표시합니다. \(\tau\approx 0\)은 문제 설명의 전제 순서와 증명 사이에 강한 상관관계가 없음을 의미합니다. 다양한 전제 순서에 대한 LLM 선호도를 철저히 조사하기 위해 포워드(\(\tau=1\)) 및 백워드(\(\tau=-1\)) 순서 외에도 \(\tau=0.5\), \(0\) 및 \(-0.5\)에 대한 모델 성능을 평가합니다. 그림 1에 \(\tau=1\) 및 \(0\)의 예를 제시하고, 다른 \(\tau\) 값의 예는 부록 B의 그림 11로 미루어 둡니다.