In this section, we answer RQ2 of _how often an LLM performs the second-hop reasoning while processing two-hop prompts_. We view the second hop of reasoning as the LLM's utilization of what it knows about the bridge entity's attribute (Stevie Wonder's mother) to answer the two-hop prompt about the same attribute of the entity referred to by the descriptive mention (the singer of 'Superstition"s mother). Therefore, when an LLM performs the second hop, we expect to see a connection between its recall of the bridge entity (i.e. resolving the first hop) and its similarity in responding to a two-hop prompt and a corresponding one-hop prompt about the bridge entity's attribute, e.g., the two-hop prompt _"The mother of the singer of 'Superstition's"_ and the one-hop prompt _"The mother of Stevie Wonder is"_. Namely, the more strongly the model recalls the bridge entity (e.g., Stevie Wonder) while processing the two-hop prompt, the more similar the completion of this prompt should be to the completion of the one-hop prompt. In the following, we describe our approach for testing how often such a causal connection exists between entity recall and the _similarity_ in the prompt completions, which we refer to as _consistency_.
이 섹션에서는 _두 홉 프롬프트를 처리하는 동안 LLM이 두 번째 홉 추론을 얼마나 자주 수행하는지_에 대한 RQ2에 답합니다. 우리는 추론의 두 번째 홉을 LLM이 브리지 엔티티의 속성(Stevie Wonder의 어머니)에 대해 알고 있는 것을 활용하여 설명적 언급이 가리키는 엔티티의 동일한 속성에 대한 두 홉 프롬프트(예: 'Superstition'의 가수의 어머니)에 답하는 것으로 간주합니다. 따라서 LLM이 두 번째 홉을 수행할 때, 우리는 브리지 엔티티를 기억하는 것(즉, 첫 번째 홉을 해결하는 것)과 두 번째 홉 프롬프트에 응답하는 것과 브리지 엔티티의 속성에 대한 해당 한 홉 프롬프트(예: 두 번째 홉 프롬프트 _"Superstition'의 가수의 어머니"와 한 홉 프롬프트 _"Stevie Wonder의 어머니는"_. 즉, 모델이 두 홉 프롬프트를 처리하는 동안 브리지 엔티티(예: Stevie Wonder)를 더 강하게 기억할수록 이 프롬프트의 완성은 한 홉 프롬프트의 완성과 더 유사해야 합니다. 다음에서는 엔티티 리콜과 프롬프트 완료의 _similarity_ 사이에 이러한 인과 관계가 얼마나 자주 존재하는지 테스트하는 접근 방식에 대해 설명합니다(여기서 _consistency_라고 함).
이 섹션에서는 _두 홉 프롬프트를 처리하는 동안 LLM이 두 번째 홉 추론을 얼마나 자주 수행하는지_에 대한 RQ2에 답합니다. 우리는 추론의 두 번째 홉을 LLM이 브리지 엔티티의 속성(스티비 원더의 어머니)에 대해 알고 있는 것을 활용하여 설명적 언급이 가리키는 엔티티의 동일한 속성에 대한 두 홉 프롬프트(예: 'Superstition'의 가수의 어머니)에 답하는 것으로 간주합니다. 따라서 LLM이 두 번째 홉을 수행할 때, 우리는 브리지 엔티티를 기억하는 것(즉, 첫 번째 홉을 해결하는 것)과 두 번째 홉 프롬프트에 응답하는 것과 브리지 엔티티의 속성에 대한 해당 한 홉 프롬프트(예: 두 번째 홉 프롬프트 _"Superstition'의 가수의 어머니"와 한 홉 프롬프트 _"스티비 원더의 어머니는"_. 즉, 모델이 두 홉 프롬프트를 처리하는 동안 브리지 엔티티(예: 스티비 원더)를 더 강하게 기억할수록 이 프롬프트의 완성은 한 홉 프롬프트의 완성과 더 유사해야 합니다. 다음에서는 엔티티 리콜과 프롬프트 완료의 _유사성_ 사이에 이러한 인과 관계가 얼마나 자주 존재하는지 테스트하는 접근 방식에 대해 설명합니다(여기서 _일관성_이라고 함).