Large language models (LLMs) have demonstrated impressive performance across a variety of reasoning tasks (Austin et al., 2021; Chen et al., 2021; Cobbe et al., 2021; Hendrycks et al., 2021; Wei et al., 2022). In particular, recent state-of-the-art LLMs have reached or even surpassed human performance on multiple reasoning benchmarks, including STEM problem-solving and code generation (Bubeck et al., 2023; Gemini, 2023; Li et al., 2022). However, recent works show that LLMs exhibit failure modes that align with human-like cognitive bias (Berglund et al., 2023; Hagendorff et al., 2023; Jones and Steinhardt, 2022; McCoy et al., 2023; Shi et al., 2023). For example, Berglund et al. (2023) revealed the _Reversal Curse_; i.e., LLMs trained on "A is B" tend to fail to infer that "B is A." Distractibility is another failure mode (Jones and Steinhardt, 2022; Shi et al., 2023), where the LLM performance drastically decreases when irrelevant context is included in the task description.
대형 언어 모델(LLMs)은 다양한 추론 작업에서 인상적인 성능을 보여주었습니다 (Austin et al., 2021; Chen et al., 2021; Cobbe et al., 2021; Hendrycks et al., 2021; Wei et al., 2022). 특히, 최근의 최첨단 LLM들은 STEM 문제 해결 및 코드 생성 등 여러 추론 벤치마크에서 인간의 성능에 도달하거나 이를 초과하는 성과를 보였습니다 (Bubeck et al., 2023; Gemini, 2023; Li et al., 2022). 그러나 최근 연구들은 LLM들이 인간과 유사한 인지적 편향과 일치하는 실패 모드를 보인다는 것을 보여줍니다 (Berglund et al., 2023; Hagendorff et al., 2023; Jones and Steinhardt, 2022; McCoy et al., 2023; Shi et al., 2023). 예를 들어, Berglund et al. (2023)은 _Reversal Curse_를 밝혔습니다. 즉, "A는 B이다"로 훈련된 LLM들은 "B는 A이다"를 추론하는 데 실패하는 경향이 있습니다. 주의 산만도 또 다른 실패 모드입니다 (Jones and Steinhardt, 2022; Shi et al., 2023). 이 경우, 작업 설명에 관련 없는 문맥이 포함되면 LLM의 성능이 급격히 감소합니다.
대규모 언어 모델(LLM)은 다양한 추론 작업에서 인상적인 성능을 보여주었습니다(Austin et al., 2021; Chen et al., 2021; Cobbe et al., 2021; Hendrycks et al., 2021; Wei et al., 2022). 특히 최근의 최첨단 LLM은 STEM 문제 해결 및 코드 생성을 포함한 여러 추론 벤치마크에서 인간의 성능에 도달하거나 그 이상의 성능을 발휘하고 있습니다(Bubeck et al., 2023; Gemini, 2023; Li et al., 2022). 그러나 최근 연구에 따르면 LLM은 인간과 유사한 인지 편향에 부합하는 실패 모드를 보이는 것으로 나타났습니다(Berglund et al., 2023; Hagendorff et al., 2023; Jones and Steinhardt, 2022; McCoy et al., 2023; Shi et al., 2023). 예를 들어, Berglund et al. (2023)은 'A는 B'로 학습된 LLM이 'B는 A'라는 추론을 실패하는 경향이 있다는 '역전의 저주'를 밝혀냈습니다. 주의 산만성은 또 다른 실패 모드(Jones and Steinhardt, 2022; Shi et al., 2023)로, 과제 설명에 관련 없는 맥락이 포함되면 LLM 성능이 급격히 감소합니다.