For each two-hop prompt \(\tau_{\text{2H}}\) in TwoHopFact, we randomly select one \(e_{1}^{\prime}\) from the same fact composition type and one \(r_{1}^{\prime}\) from a set of predefined candidate relations (provided in Appendix Table 5) to create \(\tau_{\text{2H}}^{\prime}\). We then measure the relative frequency of cases where replacing \(\tau_{\text{2H}}^{\prime}\) with \(\tau_{\text{2H}}\) via entity or relation substitution increases the recall of \(e_{2}\). A relative frequency above 0.5 suggests the LLM's chance to perform first-hop reasoning exceeds the random chance for these prompts.
TwoHopFact의 각 두 홉 프롬프트 \(\tau_{\text{2H}}\)에 대해, 동일한 사실 구성 유형에서 하나의 \(e_{1}^{\prime}\)을 무작위로 선택하고, 미리 정의된 후보 관계 집합(부록 표 5에 제공됨)에서 하나의 \(r_{1}^{\prime}\)을 선택하여 \(\tau_{\text{2H}}^{\prime}\)을 생성합니다. 그런 다음 엔티티 또는 관계 대체를 통해 \(\tau_{\text{2H}}\)를 \(\tau_{\text{2H}}^{\prime}\)로 대체할 때 \(e_{2}\)의 리콜이 증가하는 경우의 상대 빈도를 측정합니다. 상대 빈도가 0.5를 초과하면 이러한 프롬프트에 대해 LLM이 첫 번째 홉 추론을 수행할 확률이 무작위 확률을 초과함을 시사합니다.
TwoHopFact의 각 2홉 프롬프트 \(\tau_{\text{2H}}\)에 대해, 동일한 팩트 구성 유형에서 하나의 \(e_{1}^{\prime}\)를 무작위로 선택하고 미리 정의된 후보 관계 집합(부록 표 5에 제공됨)에서 하나의 \(r_{1}^{\prime}\)를 선택하여 \(\tau_{\text{2H}}^{\prime}\)를 생성합니다. 그런 다음 엔티티 또는 관계 치환을 통해 \(\tau_{\text{2H}}^{\prime}\)를 \(\tau_{\text{2H}}\)로 대체할 때 \(e_{2}\)의 리콜이 증가하는 경우의 상대적 빈도를 측정합니다. 상대 빈도가 0.5 이상이면 LLM이 첫 번째 홉 추론을 수행할 확률이 이러한 프롬프트에 대한 무작위 확률을 초과한다는 것을 의미합니다.