Large language models (LLMs) have accomplished remarkable reasoning performance in various domains. However, in the domain of reasoning tasks, we discover a frailty: LLMs are surprisingly brittle to the _ordering of the premises_, despite the fact that such ordering does not alter the underlying task. In particular, we observe that LLMs achieve the best performance when the premise order aligns with the context required in intermediate reasoning steps. For example, in deductive reasoning tasks, presenting the premises in the same order as the ground truth proof in the prompt (as opposed to random ordering) drastically increases the model's accuracy. We first examine the effect of premise ordering on deductive reasoning on a variety of LLMs, and our evaluation shows that permuting the premise order can cause a performance drop of over 30%. In addition, we release the benchmark R-GSM, based on GSM8K, to examine the ordering effect for mathematical problem-solving, and we again observe a significant drop in accuracy, relative to the original GSM8K benchmark.
대형 언어 모델(LLMs)은 다양한 분야에서 놀라운 추론 성능을 달성했습니다. 그러나 추론 작업 분야에서 우리는 한 가지 약점을 발견했습니다: LLMs는 _전제의 순서_에 대해 놀라울 정도로 취약합니다. 이는 그러한 순서가 기본 작업을 변경하지 않음에도 불구하고 발생합니다. 특히, 우리는 LLMs가 중간 추론 단계에서 필요한 맥락과 전제 순서가 일치할 때 최고의 성능을 발휘한다는 것을 관찰했습니다. 예를 들어, 연역적 추론 작업에서 전제를 프롬프트의 실제 증명 순서와 동일한 순서로 제시하면(무작위 순서와는 반대로) 모델의 정확도가 크게 향상됩니다. 우리는 먼저 다양한 LLMs에서 연역적 추론에 대한 전제 순서의 영향을 조사했으며, 평가 결과 전제 순서를 변경하면 성능이 30% 이상 감소할 수 있음을 보여줍니다. 또한, 수학 문제 해결을 위한 순서 효과를 조사하기 위해 GSM8K를 기반으로 한 벤치마크 R-GSM을 공개하며, 원래의 GSM8K 벤치마크에 비해 정확도가 크게 떨어지는 것을 다시 한 번 관찰했습니다.
대규모 언어 모델(LLM)은 다양한 영역에서 놀라운 추론 성능을 발휘했습니다. 그러나 추론 과제 영역에서는 기본 과제를 변경하지 않음에도 불구하고 LLM이 _전제의 순서_에 놀라울 정도로 취약하다는 취약성을 발견했습니다. 특히, 전제 순서가 중간 추론 단계에서 필요한 맥락과 일치할 때 LLM이 가장 우수한 성능을 발휘한다는 사실을 관찰했습니다. 예를 들어, 연역적 추론 과제에서 전제를 프롬프트의 근거 진리 증명과 같은 순서로 제시하면(무작위 순서가 아닌) 모델의 정확도가 크게 높아집니다. 먼저 다양한 LLM에 대한 연역적 추론에 대한 전제 순서의 효과를 조사한 결과, 전제 순서를 순열하면 성능이 30% 이상 저하될 수 있음을 평가 결과를 통해 확인했습니다. 또한 수학 문제 해결을 위한 순서 효과를 조사하기 위해 GSM8K를 기반으로 한 벤치마크 R-GSM을 공개했으며, 다시 한 번 정확도가 크게 떨어지는 것을 관찰했습니다.