Subsequently, we calculate CnstScore\((\mathbf{x}^{l})\) using \(\mathbf{\hat{x}}^{l}(\alpha)\),4 which allows us to express it as a function CnstScore\((\alpha)\) of \(\alpha\). Then, we examine its derivative, \(\frac{d}{d\alpha}\text{CnstScore}(\alpha)\big{|}_{\alpha=0}\) to understand the direction of change at the current value. A positive derivative indicates that an increase in EntRec\((\mathbf{x}^{l})\) leads to an increase in CnstScore\((\tau_{\text{2H}},\tau_{\text{1H}})\), while a negative one suggests the opposite. By assessing _the relative frequency of positive gradients_ among the two-hop prompts in TwoHopFact, we quantify how often the LLM performs the second hop of the reasoning, with frequencies above 0.5 suggesting that the LLM's chance to perform the second-hop reasoning exceeds random chance for these prompts.
이후, 우리는 \(\mathbf{\hat{x}}^{l}(\alpha)\)를 사용하여 CnstScore\((\mathbf{x}^{l})\)를 계산하고, 이를 \(\alpha\)의 함수인 CnstScore\((\alpha)\)로 표현합니다. 그런 다음, 현재 값에서의 변화 방향을 이해하기 위해 \(\frac{d}{d\alpha}\text{CnstScore}(\alpha)\big{|}_{\alpha=0}\)의 도함수를 검토합니다. 양의 도함수는 EntRec\((\mathbf{x}^{l})\)의 증가가 CnstScore\((\tau_{\text{2H}},\tau_{\text{1H}})\)의 증가로 이어짐을 나타내며, 음의 도함수는 그 반대를 시사합니다. TwoHopFact의 두 단계 프롬프트 중 양의 기울기의 상대적 빈도를 평가함으로써, LLM이 두 번째 단계의 추론을 수행하는 빈도를 정량화할 수 있으며, 빈도가 0.5를 초과하면 LLM이 이러한 프롬프트에 대해 두 번째 단계의 추론을 수행할 확률이 무작위 확률을 초과함을 시사합니다.
이어서, 우리는 \(\mathbf{\hat{x}}^{l}(\alpha)\),4를 사용하여 CnstScore\((\mathbf{x}^{l})\)를 계산하여 이를 \(\alpha\)의 함수 CnstScore\((\alpha)\)로 표현할 수 있습니다. 그런 다음 현재 값에서 변화의 방향을 이해하기 위해 그 도함수인 \(\frac{d}{d\alpha}\text{CnstScore}(\alpha)\big{|}_{\alpha=0}\)를 살펴봅니다. 도함수가 양수이면 EntRec\((\mathbf{x}^{l})\)의 증가가 CnstScore\((\tau_{\text{2H}},\tau_{\text{1H}})\)의 증가로 이어지는 것을 나타내며, 음수이면 그 반대를 나타냅니다. TwoHopFact의 2홉 프롬프트 중 양수 그라데이션의 _상대적 빈도_를 평가하여 LLM이 추론의 두 번째 홉을 수행하는 빈도를 정량화하며, 빈도가 0.5 이상이면 해당 프롬프트에 대해 LLM이 두 번째 홉 추론을 수행할 확률이 무작위 확률을 초과한다는 것을 의미합니다.