In this section, we measure _how often LLMs perform latent multi-hop reasoning while processing the two-hop prompt_ by combining our answers to RQ1 and RQ2. For each two-hop prompt, we consider successful outcomes for RQ1 (an entity recall increase with entity/relation substitution) and RQ2 (a consistency increase with increased entity recall) as evidence of the first and second hops of reasoning, respectively. Four possible outcomes arise: (SS) success in both RQ1 and RQ2 that we view as the multi-hop reasoning; (FS) failure in RQ1 but success in RQ2; (SF) success in RQ1 but failure in RQ2; (FF) failure in both RQ1 and RQ2.
이 섹션에서는 RQ1과 RQ2에 대한 답변을 결합하여 _LLMs이 2단계 프롬프트를 처리하는 동안 잠재적 multi-hop reasoning을 얼마나 자주 수행하는지_를 측정합니다. 각 2단계 프롬프트에 대해 RQ1(엔티티/관계 대체를 통한 엔티티 리콜 증가)과 RQ2(엔티티 리콜 증가에 따른 일관성 증가)의 성공적인 결과를 각각 추론의 첫 번째 및 두 번째 홉의 증거로 간주합니다. 네 가지 가능한 결과가 발생합니다: (SS) RQ1과 RQ2 모두에서 성공하면 multi-hop reasoning으로 간주하고, (FS) RQ1은 실패하지만 RQ2는 성공하고, (SF) RQ1은 성공하지만 RQ2는 실패하고, (FF) RQ1과 RQ2 모두에서 실패합니다.
이 섹션에서는 RQ1과 RQ2에 대한 답변을 결합하여 _LLM이 2단계 프롬프트를 처리하는 동안 잠재적 다단계 추론을 얼마나 자주 수행하는지_를 측정합니다. 각 2단계 프롬프트에 대해 RQ1(엔티티/관계 대체를 통한 엔티티 리콜 증가)과 RQ2(엔티티 리콜 증가에 따른 일관성 증가)의 성공적인 결과를 각각 추론의 첫 번째 및 두 번째 홉의 증거로 간주합니다. 네 가지 가능한 결과가 발생합니다: (SS) RQ1과 RQ2 모두에서 성공하면 다단계 추론으로 간주하고, (FS) RQ1은 실패하지만 RQ2는 성공하고, (SF) RQ1은 성공하지만 RQ2는 실패하고, (FF) RQ1과 RQ2 모두에서 실패합니다.