**Order effect of language models.** Some prior works show that language models are able to understand permuted texts to some extent, i.e., after a random permutation of words, models usually preserve a reasonable performance (Abdou et al., 2022; Sinha et al., 2020). Moreover, Cao et al. (2023) shows that even when a large fraction of words are scrambled, GPT-4 still achieves decent performance on several reasoning benchmarks. In contrast to permuted texts in these works that are typically unnatural and nonsensical, our premise order permutations do not alter the semantic meaning and remain syntactically valid (we manually verify this). Nevertheless, we demonstrate that LLM reasoning performance is highly brittle to the ordering of the premises.
**언어 모델의 순서 효과.** 일부 선행 연구에 따르면 language models는 어절의 무작위 순열 후에도 일반적으로 합리적인 성능을 유지하는 등 어느 정도 순열된 텍스트를 이해할 수 있는 것으로 나타났습니다(Abdou et al., 2022; Sinha et al., 2020). 또한, Cao et al. (2023)은 많은 비율의 단어가 스크램블링된 경우에도 GPT-4는 여러 reasoning benchmarks에서 여전히 괜찮은 성능을 달성한다는 것을 보여줍니다. 이러한 작업에서 순열된 텍스트는 일반적으로 부자연스럽고 무의미한 것과는 대조적으로, 우리의 전제 순열은 의미론적 의미를 변경하지 않고 구문론적으로 유효합니다(수동으로 확인). 그럼에도 불구하고, 우리는 LLM reasoning 성능이 전제의 순서에 매우 취약하다는 것을 보여줍니다.
**언어 모델의 순서 효과.** 일부 선행 연구에 따르면 언어 모델은 어절의 무작위 순열 후에도 일반적으로 합리적인 성능을 유지하는 등 어느 정도 순열된 텍스트를 이해할 수 있는 것으로 나타났습니다(Abdou et al., 2022; Sinha et al., 2020). 또한, Cao et al. (2023)은 많은 비율의 단어가 스크램블링된 경우에도 GPT-4는 여러 추론 벤치마크에서 여전히 괜찮은 성능을 달성한다는 것을 보여줍니다. 이러한 작업에서 순열된 텍스트는 일반적으로 부자연스럽고 무의미한 것과는 대조적으로, 우리의 전제 순열은 의미론적 의미를 변경하지 않고 구문론적으로 유효합니다(수동으로 확인). 그럼에도 불구하고, 우리는 LLM 추론 성능이 전제의 순서에 매우 취약하다는 것을 보여줍니다.