Figure 5: Relative frequency of the four outcomes of RQ1 and RQ2 in LLaMA-2 models, with entity substitution (top row) and relation substitution (bottom row) for RQ1. Let the increase of the entity recall with the input substitution for the first hop reasoning be the _success_ case of RQ1, and the increase of the consistency score with the increased entity recall for the second hop reasoning be the _success_ case of RQ2. The green, blue, yellow, and red bars show the cases of SS (success-success), FS, SF, and FF for RQ1 and RQ2, respectively. We manually set the value of the last layer as 0.5 multiplied by the relative frequency for RQ1 because the intervention does not affect the consistency at that layer.
그림 5: RQ1과 RQ2의 네 가지 결과의 상대적 빈도, RQ1의 경우 entity substitution(위쪽 행)과 relation substitution(아래쪽 행)이 있는 LLaMA-2 모델입니다. 첫 번째 hop reasoning에 대한 입력 대체로 entity recall이 증가하는 것을 RQ1의 _성공_ 사례로 하고, 두 번째 hop reasoning에 대한 entity recall 증가로 일관성 점수가 증가하는 것을 RQ2의 _성공_ 사례로 합니다. 녹색, 파란색, 노란색, 빨간색 막대는 각각 RQ1과 RQ2에 대한 SS(성공-성공), FS, SF, FF의 경우를 나타냅니다. 마지막 레이어의 값은 중재가 해당 레이어의 일관성에 영향을 미치지 않기 때문에 RQ1의 상대적 빈도에 0.5를 곱한 값으로 수동으로 설정했습니다.
그림 5: RQ1과 RQ2의 네 가지 결과의 상대적 빈도, RQ1의 경우 엔티티 대체(위쪽 행)와 관계 대체(아래쪽 행)가 있는 LLaMA-2 모델입니다. 첫 번째 홉 추론에 대한 입력 대체로 엔티티 리콜이 증가하는 것을 RQ1의 _성공_ 사례로 하고, 두 번째 홉 추론에 대한 엔티티 리콜 증가로 일관성 점수가 증가하는 것을 RQ2의 _성공_ 사례로 합니다. 녹색, 파란색, 노란색, 빨간색 막대는 각각 RQ1과 RQ2에 대한 SS(성공-성공), FS, SF, FF의 경우를 나타냅니다. 마지막 레이어의 값은 중재가 해당 레이어의 일관성에 영향을 미치지 않기 때문에 RQ1의 상대적 빈도에 0.5를 곱한 값으로 수동으로 설정했습니다.