Therefore, to identify a pathway indicative of latent multi-hop reasoning, we focus on the internal dynamics of LLMs in processing two-hop prompts rather than the most salient pathway that contributes the most to the output. This involves analyzing how the LLM's recall and utilization of the knowledge \(r_{1}(e_{1})\) and \(r_{2}(e_{2})\) changes in response to certain alterations made while the LLM is processing a two-hop prompt, in what we consider as the first and second hop of reasoning, respectively.
따라서 잠재적인 다중 홉 추론을 나타내는 경로를 식별하기 위해 출력에 가장 큰 기여를 하는 가장 눈에 띄는 경로보다는 2-hop prompt를 처리할 때 LLM의 내부 역학에 초점을 맞춥니다. 여기에는 LLM이 추론의 첫 번째 및 두 번째 홉으로 간주되는 2-hop prompt를 처리하는 동안 특정 변경 사항에 따라 지식 \(r_{1}(e_{1})\) 및 \(r_{2}(e_{2})\)의 회수 및 활용 방법이 어떻게 변화하는지 분석하는 것이 포함됩니다.
따라서 잠재적인 다중 홉 추론을 나타내는 경로를 식별하기 위해 출력에 가장 큰 기여를 하는 가장 눈에 띄는 경로보다는 2홉 프롬프트를 처리할 때 LLM의 내부 역학에 초점을 맞춥니다. 여기에는 LLM이 추론의 첫 번째 및 두 번째 홉으로 간주되는 2홉 프롬프트를 처리하는 동안 특정 변경 사항에 따라 지식 \(r_{1}(e_{1})\) 및 \(r_{2}(e_{2})\)의 회수 및 활용 방법이 어떻게 변화하는지 분석하는 것이 포함됩니다.