Relatively strong evidence supports the first-hop reasoning in up to 73% of fact composition types.With LLaMA-2 7B-13B-70B, 18/25/34 and 21/27/38 out of 52 of fact composition types exhibit maximum relative frequencies exceeding 0.8 for entity and relation substitution, respectively. In addition, 11 out of 52 types demonstrate such strong first-hop reasoning evidence robustly across all model sizes and substitution types. For example, the maximum frequency of "president of anthem's country" ("The country with the national anthem 'Azat u anakkh Artsakh' is led by president") shows the maximum frequency of 0.97/0.92/1.0 (Figure 1(d)) and 0.87/0.87/0.89 (Figure 1(h)) with each model and substitution, respectively. Individual fact composition types exhibit diverse patterns of relative frequency across layers.
상대적으로 강력한 증거는 최대 73%의 fact composition 유형에서 첫 번째 hop reasoning을 뒷받침합니다. LLaMA-2 7B-13B-70B의 경우, fact composition 유형 52개 중 18/25/34개, 21/27/38개가 각각 entity 및 relation substitution에 대해 0.8을 초과하는 최대 상대 빈도를 나타냅니다. 또한 52개 유형 중 11개 유형은 모든 모델 크기와 substitution 유형에 걸쳐 강력한 첫 번째 hop reasoning 증거를 보여줍니다. 예를 들어, "president of anthem's country"("애국가 'Azat u anakkh Artsakh'가 있는 나라는 대통령이 이끌고 있다")의 최대 빈도는 각 모델과 substitution에 대해 0.97/0.92/1.0(그림 1(d)) 및 0.87/0.87/0.89(그림 1(h))의 최대 빈도를 보여줍니다. 개별 fact composition 유형은 레이어에 따라 상대 빈도의 다양한 패턴을 보여줍니다.
상대적으로 강력한 증거는 최대 73%의 사실 구성 유형에서 첫 번째 홉 추론을 뒷받침합니다. LLaMA-2 7B-13B-70B의 경우, 사실 구성 유형 52개 중 18/27/34개, 21/27/38개가 각각 엔티티 및 관계 대체에 대해 0.8을 초과하는 최대 상대 빈도를 나타냅니다. 또한 52개 유형 중 11개 유형은 모든 모델 크기와 대체 유형에 걸쳐 강력한 1단계 추론 증거를 보여줍니다. 예를 들어, "국가의 국가 대통령"("애국가 '아잣 우 아낙크 아르차크'가 있는 나라는 대통령이 이끌고 있다")의 최대 빈도는 각 모델과 대체에 대해 0.97/0.92/1.0(그림 1(d)) 및 0.87/0.87/0.89(그림 1(h))의 최대 빈도를 보여줍니다. 개별 사실 구성 유형은 레이어에 따라 상대 빈도의 다양한 패턴을 보여줍니다.