In this section, we answer RQ1 of _how often an LLM performs the first hop of reasoning while pro cessing two-hop prompts_. We first introduce EntRec as a metric to approximate the LLM's internal recall of the bridge entity upon its descriptive mention in a prompt (SS5.1). Next, we propose to measure how often this recall increases when changing the input prompt to indirectly mention the bridge entity (SS5.2). Then, we evaluate this using TwoHopFact and answer RQ1 (SS5.3).
이 섹션에서는 _LLM이 두 단계의 프롬프트를 처리할 때 첫 번째 단계의 추론을 얼마나 자주 수행하는지_에 대한 RQ1에 답합니다. 먼저, 프롬프트에서 설명적으로 언급된 브리지 엔티티에 대한 LLM의 내부 회상을 근사화하는 지표로 EntRec을 소개합니다 (SS5.1). 다음으로, 입력 프롬프트를 변경하여 브리지 엔티티를 간접적으로 언급할 때 이 회상이 얼마나 자주 증가하는지 측정할 것을 제안합니다 (SS5.2). 그런 다음, TwoHopFact를 사용하여 이를 평가하고 RQ1에 답합니다 (SS5.3).
이 섹션에서는 _두 홉 프롬프트를 처리하는 동안 LLM이 얼마나 자주 첫 번째 홉 추론을 수행하는지에 대한 RQ1_에 답합니다. 먼저, 프롬프트에서 브리지 엔티티를 설명할 때 LLM의 내부 리콜을 근사화하는 메트릭으로 EntRec을 소개합니다(SS5.1). 다음으로, 입력 프롬프트를 변경하여 브리지 엔티티를 간접적으로 언급할 때 이 리콜이 얼마나 자주 증가하는지 측정하는 방법을 제안합니다(SS5.2). 그런 다음 TwoHopFact를 사용하여 이를 평가하고 RQ1(SS5.3)에 답합니다.