There is moderate evidence of the second-hop reasoning, which does not become stronger with increasing model size.Figure 4 shows the relative frequency of the cases that increasing the bridge entity recall increases the consistency. In LLaMA-2 7B, the middle and late layers exhibit a relative frequency higher than 0.5 (random chance) with statistical significance, peaking at 0.64 in layer 30. Test result with a randomly initialized model verifies 0.5 as the randomness baseline (Figure 3(d)).
두 번째 홉 추론에 대한 적당한 증거가 있으며, 모델 크기가 커짐에 따라 더 강해지지 않습니다. Figure 4는 다리 엔티티 리콜을 증가시켜 일관성을 증가시키는 경우의 상대적 빈도를 보여줍니다. LLaMA-2 7B에서 중간 및 후반 레이어는 통계적으로 유의미한 0.5(무작위 확률) 이상의 상대 빈도를 보이며, 30층에서 0.64로 정점을 찍습니다. 무작위로 초기화된 모델을 사용한 테스트 결과는 0.5를 무작위 기준선으로 검증합니다(Figure 3(d)).
두 번째 홉 추론에 대한 적당한 증거가 있으며, 모델 크기가 커짐에 따라 더 강해지지 않습니다. 그림 4는 다리 엔티티 리콜을 증가시켜 일관성을 증가시키는 경우의 상대적 빈도를 보여줍니다. LLaMA-2 7B에서 중간 및 후반 레이어는 통계적으로 유의미한 0.5(무작위 확률) 이상의 상대 빈도를 보이며, 30층에서 0.64로 정점을 찍습니다. 무작위로 초기화된 모델을 사용한 테스트 결과는 0.5를 무작위 기준선으로 검증합니다(그림 3(d)).