Also, we do not choose to compare the completion strings or their binary accuracy of the one/two-hop prompts because these metrics cannot capture subtle consistency differences in the probability distribution. We choose cross-entropy rather than Kullback-Leibler or Jensen-Shannon divergence because the latter metrics contain an entropy term that is irrelevant to consistency, but can dominate the score, diluting the cross-entropy signal. Higher consistency scores indicate greater similarity between the output distributions. In Appendix D, we provide empirical evidence for the consistency score being a reasonable approximation of the utilization of the model's knowledge about the bridge entity's attribute.
또한 이러한 메트릭으로는 확률 분포의 미묘한 일관성 차이를 포착할 수 없기 때문에 완성 문자열 또는 원/2홉 프롬프트의 이진 정확도를 비교하는 것을 선택하지 않습니다. Kullback-Leibler 또는 Jensen-Shannon divergence 대신 cross-entropy를 선택한 이유는 후자의 메트릭에 일관성과 무관한 엔트로피 항이 포함되어 있지만 점수를 지배하여 cross-entropy 신호를 희석할 수 있기 때문입니다. 일관성 점수가 높을수록 출력 분포가 유사하다는 것을 나타냅니다. 부록 D에서는 일관성 점수가 브리지 엔티티의 속성에 대한 모델의 지식 활용도를 합리적으로 approximation하는지에 대한 경험적 증거를 제공합니다.
또한 이러한 메트릭으로는 확률 분포의 미묘한 일관성 차이를 포착할 수 없기 때문에 완성 문자열 또는 원/2홉 프롬프트의 이진 정확도를 비교하는 것을 선택하지 않습니다. 쿨백-라이블러 또는 젠슨-샤논 발산 대신 교차 엔트로피를 선택한 이유는 후자의 메트릭에 일관성과 무관한 엔트로피 항이 포함되어 있지만 점수를 지배하여 교차 엔트로피 신호를 희석할 수 있기 때문입니다. 일관성 점수가 높을수록 출력 분포가 유사하다는 것을 나타냅니다. 부록 D에서는 일관성 점수가 브리지 엔티티의 속성에 대한 모델의 지식 활용도를 합리적으로 근사화하는지에 대한 경험적 증거를 제공합니다.