Recent works have shown that Transformer-based (Vaswani et al., 2017) Large Language Models (LLMs) store and retrieve factual information in their parameters to complete simple prompts such as _"The mother of Stevie Wonder is"_(Petroni et al., 2019; Meng et al., 2022; Geva et al., 2021, 2022, 2023; Zhu and Li, 2023). In addition, LLMs have demonstrated remarkable _in-context_ reasoning abilities when the necessary information is explicitly given as part of the input (Wei et al., 2022). For example, models can infer "Lula" as a possible completion of _"The mother of Stevie Wonder is Lula. The singer of 'Superstition' is Stevie Wonder. The mother of the singer of 'Superstition' is"_. These findings raise a question: Do LLMs retrieve factual information stored in their parameters and perform _latent multi-hop reasoning_ when the information to reason from is _not_ given as a part of the input? For instance, when LLMs process the two-hop prompt _"The mother of the singer of 'Superstition' is"_, do they (1) figure out that "the singer of 'Superstition'" refers to Stevie Wonder and (2) use their knowledge of who Stevie Wonder's mother is to complete the prompt?
최근 연구에 따르면 Transformer 기반(Vaswani et al., 2017) Large Language Models (LLMs)은 매개변수에 사실 정보를 저장하고 검색하여 _"스티비 원더의 어머니는"_(Petroni et al., 2019; Meng et al., 2022; Geva et al., 2021, 2022, 2023; Zhu and Li, 2023)과 같은 간단한 프롬프트를 완료합니다. 또한 LLM은 필요한 정보가 입력의 일부로 명시적으로 제공될 때 놀라운 _In-Context_ 추론 능력을 보여주었습니다(Wei et al., 2022). 예를 들어, 모델은 _"스티비 원더의 어머니는 룰라이다."의 완성 가능성으로 "룰라"를 추론할 수 있습니다. '미신'의 가수는 스티비 원더입니다. '미신'의 가수의 어머니는"_. 이러한 발견은 의문을 제기합니다: LLM이 매개변수에 저장된 사실 정보를 검색하고 추론할 정보가 입력의 일부로 제공되지 않을 때 _latent multi-hop reasoning_을 수행하나요? 예를 들어, LLM이 _"미신'의 가수의 어머니는"이라는 두 단계 프롬프트를 처리할 때 (1) "'미신'의 가수"가 스티비 원더를 가리킨다는 것을 알아내고 (2) 스티비 원더의 어머니가 누구인지에 대한 지식을 사용하여 프롬프트를 완료하나요?
최근 연구에 따르면 트랜스포머 기반(Vaswani et al., 2017) 대규모 언어 모델(LLM)은 매개변수에 사실 정보를 저장하고 검색하여 _"스티비 원더의 어머니는"_(Petroni et al., 2019; Meng et al., 2022; Geva et al., 2021, 2022, 2023; Zhu and Li, 2023)과 같은 간단한 프롬프트를 완료합니다. 또한 LLM은 필요한 정보가 입력의 일부로 명시적으로 제공될 때 놀라운 _컨텍스트 내_ 추론 능력을 보여주었습니다(Wei et al., 2022). 예를 들어, 모델은 _"스티비 원더의 어머니는 룰라이다."의 완성 가능성으로 "룰라"를 추론할 수 있습니다. '미신'의 가수는 스티비 원더입니다. '미신'의 가수의 어머니는"_. 이러한 발견은 의문을 제기합니다: LLM이 매개변수에 저장된 사실 정보를 검색하고 추론할 정보가 입력의 일부로 제공되지 않을 때 _잠재적 다중 홉 추론_을 수행하나요? 예를 들어, LLM이 _"미신'의 가수의 어머니는"이라는 두 단계 프롬프트를 처리할 때 (1) "'미신'의 가수"가 스티비 원더를 가리킨다는 것을 알아내고 (2) 스티비 원더의 어머니가 누구인지에 대한 지식을 사용하여 프롬프트를 완료하나요?