There is substantial evidence of the first hop of reasoning, which becomes stronger with increasing model size.Figure 2 shows the relative frequency of the cases that the entity recall at each layer increases with entity and relation substitution. LLaMA-2 7B entity substitution result (Figure 1(a)) shows that the evidence of first-hop reasoning becomes clearer with increasing layer depth, peaking at 0.71 in layer 31. Relation substitution exhibits a slightly noisier pattern with a peak at 0.63 in layer 20 (Figure 1(e)).
첫 번째 추론 hop에 대한 상당한 증거가 있으며, 모델 크기가 커질수록 더 강해집니다. 그림 2는 각 layer에서 entity와 relation 치환에 따라 entity recall이 증가하는 경우의 상대적 빈도를 보여줍니다. LLaMA-2 7B entity 치환 결과(그림 1(a))는 layer 깊이가 깊어짐에 따라 첫 번째 hop 추론의 증거가 더 선명해지며, 31층에서 0.71로 정점에 달하는 것을 보여줍니다. relation 치환은 layer 20에서 0.63으로 정점을 찍으면서 약간 더 노이즈가 많은 패턴을 보입니다(그림 1(e)).
첫 번째 추론 홉에 대한 상당한 증거가 있으며, 모델 크기가 커질수록 더 강해집니다. 그림 2는 각 계층에서 엔티티와 관계 치환에 따라 엔티티 리콜이 증가하는 경우의 상대적 빈도를 보여줍니다. LLaMA-2 7B 엔티티 치환 결과(그림 1(a))는 계층 깊이가 깊어짐에 따라 첫 번째 홉 추론의 증거가 더 선명해지며, 31층에서 0.71로 정점에 달하는 것을 보여줍니다. 관계 치환은 레이어 20에서 0.63으로 정점을 찍으면서 약간 더 노이즈가 많은 패턴을 보입니다(그림 1(e)).