Note that we use consistency instead of two-hop prompt completion accuracy or the probability of the ground truth answer because the latter metrics are insufficient to capture the second-hop reasoning for the cases where the corresponding one-hop prompt completion is incorrect. In addition, these metrics inherit noise from the choice of the ground truth answer or the set of answer candidates. On the other hand, comparing the similarity of the output distributions is not affected by the choice of ground truth, and provides a way to capture the second-hop reasoning even when the ground truth answer is not in the top-1 generation of the one-hop prompt.
일관성 대신 two-hop prompt completion 정확도 또는 ground truth 답변의 확률을 사용하지 않는다는 점에 유의하세요. 후자의 메트릭은 해당 one-hop prompt completion이 잘못된 경우 second-hop reasoning을 포착하기에 충분하지 않기 때문입니다. 또한 이러한 메트릭은 ground truth 답변 또는 답변 후보 집합의 선택으로 인한 노이즈를 상속합니다. 반면, 출력 분포의 유사성을 비교하는 것은 ground truth의 선택에 영향을 받지 않으며, ground truth 답변이 one-hop prompt의 top-1 생성에 속하지 않은 경우에도 second-hop reasoning을 포착할 수 있는 방법을 제공합니다.
후자의 메트릭은 해당 원홉 프롬프트 완성이 잘못된 경우 두 번째 홉 추론을 포착하기에 충분하지 않기 때문에 일관성 대신 2홉 프롬프트 완성 정확도 또는 실측 답변의 확률을 사용한다는 점에 유의하세요. 또한 이러한 메트릭은 실측 답변 또는 답변 후보 집합의 선택으로 인한 노이즈를 상속합니다. 반면, 출력 분포의 유사성을 비교하는 것은 실측 답변의 선택에 영향을 받지 않으며, 실측 답변이 원홉 프롬프트의 상위 1세대에 속하지 않은 경우에도 두 번째 홉 추론을 포착할 수 있는 방법을 제공합니다.