In this work, we limit ourselves to prompts that express a composition of two facts such as _"The mother of the singer of 'Superstition' is"_ that humans can complete with two hops by (1) inferring a _bridge entity_ (e.g., Stevie Wonder) and (2) inferring an attribute of that entity (e.g., who his mother is). Then, we study how often LLMs process the prompt using a similar latent two-hop reasoning pathway, although this pathway may not be the most salient pathway that largely determines the predicted output. To this end, we first study these hops individually, as shown in Figure 1. To study the first hop, we propose _entity recall score_ to approximate LLM's internal recall of the bridge entity by projecting specific hidden representations to vocabulary space. We test how changes to the input prompt affect this score. To study the second hop, we measure _consistency score_ between the distribution for completions of the two-hop prompt and an equivalent recall-based one-hop prompt (e.g., _"The mother of Stevie Wonder is"_). We check how often an intervention to increase the entity recall score increases consistency as an indication of second-hop utilization. Finally, we investigate how frequently both steps coincide.
이 작업에서는 인간이 (1) _bridge entity_ (예: 'Superstition'의 가수) 를 추론하고 (2) 해당 엔티티의 속성 (예: 그의 어머니가 누구인지)을 추론하여 두 번의 홉으로 완성할 수 있는 _두 가지 사실의 구성을 표현하는 프롬프트에 국한합니다. 그런 다음, LLM이 예측된 출력을 크게 결정하는 가장 눈에 띄는 경로는 아니더라도 유사한 잠재적 2-hop 추론 경로를 사용하여 프롬프트를 처리하는 빈도를 연구합니다. 이를 위해 먼저 그림 1과 같이 이러한 홉을 개별적으로 연구합니다. 첫 번째 홉을 연구하기 위해 특정 숨겨진 표현을 어휘 공간에 투영하여 LLM의 내부에서 bridge entity를 검색하는 것을 근사화하는 _entity recall score_를 제안합니다. 입력 프롬프트의 변경이 이 점수에 어떤 영향을 미치는지 테스트합니다. 두 번째 홉을 연구하기 위해 2-hop 프롬프트의 완성을 위한 완성과 동등한 검색 기반 1-hop 프롬프트(_"Stevie Wonder의 어머니는"_) 간의 _consistency score_를 측정합니다. entity recall score를 높이기 위한 개입이 두 번째 홉 활용의 지표로서 일관성을 얼마나 자주 증가시키는지 확인합니다. 마지막으로 두 단계가 얼마나 자주 일치하는지 조사합니다.
이 작업에서는 인간이 (1) _다리 엔티티_ (예: '미신'의 가수)를 추론하고 (2) 해당 엔티티의 속성 (예: 그의 어머니가 누구인지)을 추론하여 두 번의 홉으로 완성할 수 있는 _두 가지 사실의 구성을 표현하는 프롬프트에 국한합니다. 그런 다음, LLM이 예측된 출력을 크게 결정하는 가장 눈에 띄는 경로는 아니더라도 유사한 잠재적 2홉 추론 경로를 사용하여 프롬프트를 처리하는 빈도를 연구합니다. 이를 위해 먼저 그림 1과 같이 이러한 홉을 개별적으로 연구합니다. 첫 번째 홉을 연구하기 위해 특정 숨겨진 표현을 어휘 공간에 투영하여 LLM의 내부에서 브리지 엔티티를 검색하는 것을 근사화하는 _엔티티 검색 점수_를 제안합니다. 입력 프롬프트의 변경이 이 점수에 어떤 영향을 미치는지 테스트합니다. 두 번째 홉을 연구하기 위해 2홉 프롬프트의 완성을 위한 완성과 동등한 검색 기반 1홉 프롬프트(_"스티비 원더의 어머니는"_) 간의 _일관성 점수_를 측정합니다. 엔티티 검색 점수를 높이기 위한 개입이 두 번째 홉 활용의 지표로서 일관성을 얼마나 자주 증가시키는지 확인합니다. 마지막으로 두 단계가 얼마나 자주 일치하는지 조사합니다.