ExperimentWe demonstrate that the proposed definition of \(\textsc{CnstScore}(\tau_{\text{2H}},\tau_{\text{1H}})\) is a reasonable proxy of the utilization of what the LLM knows about the bridge entity's attribute - the latent recall of its answer to \(\tau_{\text{1H}}\) - with indirect evidence. If the information to reason with is given as part of the input, e.g., if the given prompt is _"The singer of 'Supersition' is Stevie Wonder. The mother of Stevie Wonder is named Lula. The mother of the singer of 'Supersition' is"_, the LLM would not need to internally perform the multi-hop reasoning to refer to what its output to the one-hop prompt _"The mother of Stevie Wonder is"_ is, but just copy the answer from the input. Therefore, \(\textsc{CnstScore}\) of such a case will be lower than the case where the LLM needs to internally figure out what its answer to the one-hop prompt given the hint of who the descriptive mention refers to, e.g., _"The singer of 'Superstition' is Stevie Wonder. The mother of the singer of 'Superstition' is"_. Therefore, to check whether this is the case, we compare \(\textsc{CnstScore}\) computed with the several Chain-of-Thought (CoT) style prompts \(\tau^{\prime}\), i.e., \(\textsc{CnstScore}(\tau^{\prime},\tau_{\text{1H}})\).
실험우리는 제안된 \(\textsc{CnstScore}(\tau_{\text{2H}},\tau_{\text{1H}})\)의 정의가 간접적인 증거를 통해 LLM이 브리지 엔티티의 속성에 대해 알고 있는 것, 즉 \(\tau_{\text{1H}}\)에 대한 답변의 잠재적 회상에 대한 합리적인 대리자임을 입증합니다. 추론할 정보가 입력의 일부로 주어진다면, 예를 들어 주어진 프롬프트가 _"수퍼시션"의 가수는 스티비 원더입니다. 스티비 원더의 어머니는 룰라입니다. '수퍼시션'의 가수의 어머니는"이면 LLM은 출력에 대해 내부적으로 다중 홉 추론을 수행할 필요가 없습니다. 1홉 프롬프트 _"스티비 원더의 어머니는"_에 대한 출력이 무엇인지, 입력에서 답을 복사하기만 하면 됩니다. 따라서 이러한 경우의 \(\textsc{CnstScore}\)는 LLM이 설명적 언급이 누구를 가리키는지에 대한 힌트가 주어진 1홉 프롬프트에 대한 답을 내부적으로 알아내야 하는 경우, 예를 들어 _"믿음의 가수는 스티비 원더입니다. '믿음'의 가수의 어머니는"_. 따라서 이러한 경우인지 확인하기 위해 몇 가지 Chain-of-Thought (CoT) 스타일의 프롬프트 \(\tau^{\prime}\), 즉 \(\textsc{CnstScore}(\tau^{\prime},\tau_{\text{1H}})\).
실험우리는 제안된 \(\textsc{CnstScore}(\tau_{\text{2H}},\tau_{\text{1H}})\)의 정의가 간접적인 증거를 통해 LLM이 브리지 엔티티의 속성에 대해 알고 있는 것, 즉 \(\tau_{\text{1H}}\)에 대한 답변의 잠재적 회상에 대한 합리적인 대리자임을 입증합니다. 추론할 정보가 입력의 일부로 주어진다면, 예를 들어 주어진 프롬프트가 _"수퍼시션"의 가수는 스티비 원더입니다. 스티비 원더의 어머니는 룰라입니다. '수퍼시션'의 가수의 어머니는"이면 LLM은 출력에 대해 내부적으로 다중 홉 추론을 수행할 필요가 없습니다. 1홉 프롬프트 _"스티비 원더의 어머니는"_에 대한 출력이 무엇인지, 입력에서 답을 복사하기만 하면 됩니다. 따라서 이러한 경우의 \(\textsc{CnstScore}\)는 LLM이 설명적 언급이 누구를 가리키는지에 대한 힌트가 주어진 1홉 프롬프트에 대한 답을 내부적으로 알아내야 하는 경우, 예를 들어 _"믿음의 가수는 스티비 원더입니다. '믿음'의 가수의 어머니는"_. 따라서 이러한 경우인지 확인하기 위해 몇 가지 생각의 연쇄(CoT) 스타일의 프롬프트 \(\tau^{\prime}\), 즉 \(\textsc{CnstScore}(\tau^{\prime},\tau_{\text{1H}})\).