We study whether Large Language Models (LLMs) latently perform multi-hop reasoning with complex prompts such as "The mother of the singer of 'Superstition' is". We look for evidence of a latent reasoning pathway where an LLM (1) latently identifies "the singer of 'Superstition"' as Stevie Wonder, the _bridge entity_, and (2) uses its knowledge of Stevie Wonder's mother to complete the prompt. We analyze these two hops individually and consider their co-occurrence as indicative of latent multi-hop reasoning. For the first hop, we test if changing the prompt to indirectly mention the bridge entity instead of any other entity increases the LLM's internal recall of the bridge entity. For the second hop, we test if increasing this recall causes the LLM to better utilize what it knows about the bridge entity. We find strong evidence of latent multi-hop reasoning for the prompts of certain relation types, with the reasoning pathway used in more than 80% of the prompts. However, the utilization is highly contextual, varying across different types of prompts. Also, on average, the evidence for the second hop and the full multi-hop traversal is rather moderate and only substantial for the first hop. Moreover, we find a clear scaling trend with increasing model size for the first hop of reasoning but not for the second hop.
대규모 언어 모델(LLM)이 "The mother of the singer of 'Superstition' is"와 같은 복잡한 프롬프트를 통해 잠재적으로 다중 홉 추론을 수행하는지 연구합니다. LLM이 (1) 잠재적으로 '_bridge entity_'인 스티비 원더의 '수퍼스티션'의 가수로 잠재적으로 식별하고, (2) 스티비 원더의 어머니에 대한 지식을 사용하여 프롬프트를 완료하는 잠재적 추론 경로의 증거를 찾습니다. 이 두 가지 홉을 개별적으로 분석하고 이들의 공동 발생을 잠재적 다중 홉 추론의 지표로 간주합니다. 첫 번째 홉의 경우, 다른 엔티티 대신 bridge entity를 간접적으로 언급하도록 프롬프트를 변경하면 bridge entity에 대한 LLM의 내부 리콜이 증가하는지 테스트합니다. 두 번째 홉의 경우, 이 리콜을 증가시키면 LLM이 bridge entity에 대해 알고 있는 것을 더 잘 활용하는지 테스트합니다. 특정 관계 유형의 프롬프트에 대해 잠재적 다중 홉 추론의 강력한 증거를 발견했으며, 이 추론 경로가 프롬프트의 80% 이상에서 사용되었습니다. 그러나 활용도는 프롬프트 유형에 따라 크게 달라지는 등 상황에 따라 크게 달라집니다. 또한, 평균적으로 두 번째 홉과 전체 다중 홉 횡단에 대한 증거는 다소 보통이며 첫 번째 홉에만 상당합니다. 또한 추론의 첫 번째 홉에서는 모델 크기가 증가함에 따라 확실한 확장 추세를 발견했지만 두 번째 홉에서는 그렇지 않았습니다.
대규모 언어 모델(LLM)이 "The mother of the singer of 'Superstition' is"와 같은 복잡한 프롬프트를 통해 잠재적으로 다중 홉 추론을 수행하는지 연구합니다. LLM이 (1) 잠재적으로 '_브리지 엔티티'인 스티비 원더의 '수퍼스티션'의 가수로 잠재적으로 식별하고, (2) 스티비 원더의 어머니에 대한 지식을 사용하여 프롬프트를 완료하는 잠재적 추론 경로의 증거를 찾습니다. 이 두 가지 홉을 개별적으로 분석하고 이들의 공동 발생을 잠재적 다중 홉 추론의 지표로 간주합니다. 첫 번째 홉의 경우, 다른 엔티티 대신 다리 엔티티를 간접적으로 언급하도록 프롬프트를 변경하면 다리 엔티티에 대한 LLM의 내부 리콜이 증가하는지 테스트합니다. 두 번째 홉의 경우, 이 리콜을 증가시키면 LLM이 브리지 엔티티에 대해 알고 있는 것을 더 잘 활용하는지 테스트합니다. 특정 관계 유형의 프롬프트에 대해 잠재적 다중 홉 추론의 강력한 증거를 발견했으며, 이 추론 경로가 프롬프트의 80% 이상에서 사용되었습니다. 그러나 활용도는 프롬프트 유형에 따라 크게 달라지는 등 상황에 따라 크게 달라집니다. 또한, 평균적으로 두 번째 홉과 전체 다중 홉 횡단에 대한 증거는 다소 보통이며 첫 번째 홉에만 상당합니다. 또한 추론의 첫 번째 홉에서는 모델 크기가 증가함에 따라 확실한 확장 추세를 발견했지만 두 번째 홉에서는 그렇지 않았습니다.