Figure 1: We investigate the latent multi-hop reasoning of LLMs. For the first hop, we change the input prompt to refer to the bridge entity (Stevie Wonder) and check how often it increases the model’s internal recall of the bridge entity. For the second hop, we check if increasing this recall causes the model output to be more consistent with respect to what it knows about the bridge entity’s attribute (mother of Stevie Wonder).
그림 1: LLM의 잠재적 multi-hop reasoning을 조사합니다. 첫 번째 hop의 경우, 입력 prompt를 bridge entity(Stevie Wonder)를 참조하도록 변경하고 bridge entity에 대한 모델의 내부 recall이 얼마나 자주 증가하는지 확인합니다. 두 번째 hop에서는 이 recall을 증가시키면 모델 출력이 bridge entity의 attribute(Stevie Wonder의 어머니)에 대해 알고 있는 내용과 더 일관성 있게 되는지 확인합니다.
그림 1: LLM의 잠재적 다중 홉 추론을 조사합니다. 첫 번째 홉의 경우, 입력 프롬프트를 브리지 엔티티(스티비 원더)를 참조하도록 변경하고 브리지 엔티티에 대한 모델의 내부 리콜이 얼마나 자주 증가하는지 확인합니다. 두 번째 홉에서는 이 리콜을 증가시키면 모델 출력이 브리지 엔티티의 속성(스티비 원더의 어머니)에 대해 알고 있는 내용과 더 일관성 있게 되는지 확인합니다.