where \(\mathbf{x}^{l}\in\mathbb{R}^{h}\) is the output from the \(l\)-th Transformer layer at the last token of the bridge entity's descriptive mention in the two-hop prompt \(\tau_{\text{2H}}\), and \(\text{index}(e_{2}^{(0)})\in[0,V-1]\) is the index of the token \(e_{2}^{(0)}\) in the unembedding matrix \(W_{U}\in\mathbb{R}^{h\times V}\). LayerNorm is the layer normalization used for the last layer output \(\mathbf{x}^{L-1}\) before projecting it to the unembedding matrix to obtain the output next-token probability distribution. Applying this normalization makes EntRec\({}^{L-1}(e_{2},\tau_{\text{2H}})\) compatible with the output probability of \(e_{2}^{(0)}\) as the next token of the prefix of \(\tau_{\text{2H}}\) ending at the descriptive mention (e.g., "The mother of the singer of 'Superstition"').2 We interpret higher EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\) as stronger internal recall of the bridge entity \(e_{2}\) at the \(l\)-th layer.
여기서 \(\mathbf{x}^{l}\in\mathbb{R}^{h}\)는 2-hop prompt \(\tau_{\text{2H}}\)에서 bridge entity의 설명적 언급의 마지막 토큰에서 \(l\)-번째 Transformer layer의 출력이고, \(\text{index}(e_{2}^{(0)})\in[0,V-1]\)는 unembedding 행렬 \(W_{U}\in\mathbb{R}^{h\times V}\)에서 토큰 \(e_{2}^{(0)}\)의 인덱스입니다. LayerNorm은 unembedding 행렬에 투영하여 다음 토큰 확률 분포를 얻기 전에 마지막 layer 출력 \(\mathbf{x}^{L-1}\)에 사용되는 layer normalization입니다. 이 정규화를 적용하면 EntRec\({}^{L-1}(e_{2},\tau_{\text{2H}})\)는 설명적 언급에서 끝나는 \(\tau_{\text{2H}}\)의 접두사의 다음 토큰으로서 \(e_{2}^{(0)}\)의 출력 확률과 호환됩니다("Superstition"의 가수의 어머니"). 우리는 더 높은 EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)를 bridge entity \(e_{2}\)의 \(l\)-번째 layer에서 더 강한 내부 리콜로 해석합니다.
여기서 \mathbf{x}^{l}\in\mathbb{R}^{h}\)는 2-홉 프롬프트 \tau_{\text{2H}}\)에서 브리지 엔티티의 설명적 언급의 마지막 토큰에서 \(l\)-번째 트랜스포머 레이어의 출력이고, \(\text{index}(e_{2}^{(0)})\in[0,V-1]\)는 언엠베딩 행렬 \(W_{U}\in\mathbb{R}^{h\times V}\)에서 토큰 \(e_{2}^{(0)}\)의 인덱스입니다. 레이어 노멀라이제이션은 언엠베딩 행렬에 투영하여 다음 토큰 확률 분포를 얻기 전에 마지막 레이어 출력 \mathbf{x}^{L-1}\)에 사용되는 레이어 노멀라이제이션입니다. 이 정규화를 적용하면 EntRec\({}^{L-1}(e_{2},\tau_{\text{2H}})\는 설명적 언급에서 끝나는 \tau_{\text{2H}}\의 접두사의 다음 토큰으로서 \(e_{2}^{(0)}\)의 출력 확률과 호환됩니다("Superstition"의 가수의 어머니").2 우리는 더 높은 EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\를 브리지 엔티티 \(e_{2}\)의 \(l\)-번째 레이어에서 더 강한 내부 리콜로 해석합니다.