We define CnstScore to measure how consistently an LLM responds to the two-hop and one-hop prompts. Let \(\mathbf{p}_{\tau_{\text{2H}}},\mathbf{p}_{\tau_{\text{HH}}}\in\mathbb{R}^{V}\) be the output probability distributions for a two-hop prompt \(\tau_{\text{2H}}\) and the corresponding one-hop prompt \(\tau_{\text{1H}}\), respectively.
우리는 LLM이 2-hop 및 1-hop 프롬프트에 얼마나 일관되게 응답하는지를 측정하기 위해 CnstScore를 정의합니다. \(\mathbf{p}_{\tau_{\text{2H}}},\mathbf{p}_{\tau_{\text{HH}}}\in\mathbb{R}^{V}\)를 각각 2-hop 프롬프트 \(\tau_{\text{2H}}\)와 해당 1-hop 프롬프트 \(\tau_{\text{1H}}\)에 대한 출력 확률 분포라고 합니다.
우리는 LLM이 2홉 및 1홉 프롬프트에 얼마나 일관되게 응답하는지를 측정하기 위해 CnstScore를 정의합니다. mathbf{p}_{\tau_{\text{2H}}},\mathbf{p}_{\tau_{\text{HH}}}\in\mathbb{R}^{V}\)를 각각 2홉 프롬프트 \(\tau_{\text{2H}}\)와 해당 1홉 프롬프트 \(\tau_{\text{1H}}\)에 대한 출력 확률 분포라고 합니다.