* We address the question of _latent multi-hop reasoning in LLMs_, establish a **framework** for its investigation, and show its **existential evidence**. * We construct the TwoHopFact **dataset** which consists of 45,595 two/one-hop prompts of 52 fact composition types, created using various types of entities and relations and diverse templates (SS4). * We propose two novel **metrics**, _internal entity recall score_ and _consistency score_, as proxies of the degree of the LLM's recall of an entity for its descriptive mention (SS5.1) and the degree of the LLM's utilization of its knowledge about the bridge entity's attribute (SS6), respectively. * We propose a **mechanism** to investigate a latent reasoning pathway even when it is not the most salient pathway determining the prediction, by measuring the relative frequency of the expected causal effects (SS6.2).
* LLM의 _잠재적 다중 홉 추론_ 문제를 다루고, 이를 조사하기 위한 **framework**를 구축하며, 그 **existential evidence**를 보여줍니다. * 다양한 유형의 엔티티와 관계, 다양한 템플릿(SS4)을 사용하여 생성된 52개의 사실 구성 유형의 2/1홉 프롬프트로 구성된 TwoHopFact **dataset**을 구성합니다. * 설명적 언급에 대한 LLM의 개체 기억 정도(SS5.1)와 LLM이 다리 개체의 속성에 대한 지식을 활용하는 정도(SS6)의 대리자로서 두 가지 새로운 **metrics**, 즉 _내부 개체 회상 점수_와 _일관성 점수_를 제안합니다. * 예상되는 인과 효과의 상대적 빈도를 측정하여 예측을 결정하는 가장 눈에 띄는 경로가 아닌 경우에도 잠재적 추론 경로를 조사하는 **mechanism**을 제안합니다(SS6.2).
* LLM의 _잠재적 다중 홉 추론_ 문제를 다루고, 이를 조사하기 위한 **프레임워크**를 구축하며, 그 **실존적 증거**를 보여줍니다. * 다양한 유형의 엔티티와 관계, 다양한 템플릿(SS4)을 사용하여 생성된 52개의 사실 구성 유형의 2/1홉 프롬프트로 구성된 TwoHopFact **데이터셋**을 구성합니다. * 설명적 언급에 대한 LLM의 개체 기억 정도(SS5.1)와 LLM이 다리 개체의 속성에 대한 지식을 활용하는 정도(SS6)의 대리자로서 두 가지 새로운 **메트릭**, 즉 _내부 개체 회상 점수_와 _일관성 점수_를 제안합니다. * 예상되는 인과 효과의 상대적 빈도를 측정하여 예측을 결정하는 가장 눈에 띄는 경로가 아닌 경우에도 잠재적 추론 경로를 조사하는 **메커니즘**을 제안합니다(SS6.2).