To study latent two-hop reasoning with diverse types of fact composition, we introduce TwoHopFact dataset, which is based on Wikidata (Vrandecic and Krotzsch, 2014) and consists of 45,595 two-hop prompts of 52 types of fact composition. We experiment with LLaMA-2 (Touvron et al., 2023) 7B, 13B, and 70B. Our findings can be summarized as follows. Across a wide range of fact composition types for the two-hop prompts, we find substantial evidence for the first hop of the multi-hop reasoning. In about 70% of the times where we change the prompt to indirectly mention the bridge entity, the later layers of the transformer show increased bridge entity recall. For the second hop and overall traversal, the evidence appears weaker: in 60% of the cases where we increase entity recall score, consistency goes up. Likewise, in about 40% of the time, both hops work together (compared to a random 25% baseline); changing the descriptive mention increases the entity recall score, and increasing this recall score increases consistency.
다양한 유형의 사실 구성으로 잠재적인 2-hop 추론을 연구하기 위해, 우리는 Wikidata(Vrandecic and Krotzsch, 2014)를 기반으로 하며 52가지 유형의 사실 구성으로 구성된 45,595개의 2-hop 프롬프트로 구성된 TwoHopFact 데이터 세트를 소개합니다. LLaMA-2(Touvron et al., 2023) 7B, 13B, 70B로 실험했습니다. 연구 결과는 다음과 같이 요약할 수 있습니다. 2-hop 프롬프트의 다양한 사실 구성 유형에 걸쳐 multi-hop 추론의 첫 번째 hop에 대한 상당한 증거를 발견했습니다. 프롬프트를 다리 개체를 간접적으로 언급하도록 변경한 경우 약 70%에서 Transformer의 후기 레이어에서 다리 개체 회상이 증가하는 것을 보여주었습니다. 두 번째 hop과 전체 탐색의 경우 증거가 약해 보이는데, 개체 회상 점수를 높인 경우의 60%에서 일관성이 높아집니다. 마찬가지로 약 40%의 경우 두 hop이 함께 작동합니다(무작위 25% 기준 대비). 설명적 언급을 변경하면 개체 회상 점수가 상승하고, 이 회상 점수가 상승하면 일관성이 높아집니다.
다양한 유형의 사실 구성으로 잠재적인 2홉 추론을 연구하기 위해, 우리는 위키데이터(Vrandecic and Krotzsch, 2014)를 기반으로 하며 52가지 유형의 사실 구성으로 구성된 45,595개의 2홉 프롬프트로 구성된 TwoHopFact 데이터 세트를 소개합니다. LLaMA-2(Touvron et al., 2023) 7B, 13B, 70B로 실험했습니다. 연구 결과는 다음과 같이 요약할 수 있습니다. 2홉 프롬프트의 다양한 사실 구성 유형에 걸쳐 다중 홉 추론의 첫 번째 홉에 대한 상당한 증거를 발견했습니다. 프롬프트를 다리 개체를 간접적으로 언급하도록 변경한 경우 약 70%에서 트랜스포머의 후기 레이어에서 다리 개체 회상이 증가하는 것을 보여주었습니다. 두 번째 홉과 전체 탐색의 경우 증거가 약해 보이는데, 개체 회상 점수를 높인 경우의 60%에서 일관성이 높아집니다. 마찬가지로 약 40%의 경우 두 홉이 함께 작동합니다(무작위 25% 기준 대비). 설명적 언급을 변경하면 개체 회상 점수가 상승하고, 이 회상 점수가 상승하면 일관성이 높아집니다.