**Failure modes of LLMs.** The premise order effect in this work is connected to several failure modes of LLMs in the literature, including the reversal curse (Berglund et al., 2023), distractibility (Shi et al., 2023), and limited capability of logical reasoning (Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023; Zhu et al., 2023). Specifically, Shi et al. (2023) show that including irrelevant context in the problem statement leads to a considerable performance drop on GSM8K and other reasoning benchmarks, revealing that LLMs are _distractible_.
**LLM의 실패 모드.** 이 연구의 전제 순서 효과는 문헌에서 언급된 LLM의 몇 가지 실패 모드, 즉 역전의 저주(Berglund et al., 2023), distractibility(Shi et al., 2023), 논리적 추론 능력 제한(Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023; Zhu et al., 2023). 특히 Shi et al. (2023)은 문제 진술에 관련 없는 컨텍스트를 포함하면 GSM8K 및 기타 reasoning 벤치마크의 성능이 현저히 저하되는 것을 보여주었으며, 이는 LLM이 _distractible_임을 보여줍니다.
**LLM의 실패 모드.** 이 연구의 전제 순서 효과는 문헌에서 언급된 LLM의 몇 가지 실패 모드, 즉 역전의 저주(Berglund et al., 2023), 주의력 저하(Shi et al., 2023), 논리적 추론 능력 제한(Han et al., 2022; Saparov and He, 2022; Saparov et al., 2023; Wan et al., 2024; Xu et al., 2023; Zhu et al., 2023). 특히 Shi et al. (2023)은 문제 진술에 관련 없는 컨텍스트를 포함하면 GSM8K 및 기타 추론 벤치마크의 성능이 현저히 저하되는 것을 보여주었으며, 이는 LLM이 _distractible_임을 보여줍니다.