We define EntRec as a metric to measure the LLM's recall of the bridge entity \(e_{2}\) within a two-hop prompt \(\tau_{\text{2H}}\). This is defined with respect to the hidden representation in a certain layer \(l\), at the last position of the bridge entity's descriptive mention in the two-hop prompt. This hidden representation is projected to the vocabulary space to calculate the log probability of the first token of the entity's name (e.g., the first token of "Stevie Wonder").
EntRec은 two-hop prompt \(tau_{\text{2H}}\) 내에서 LLM의 bridge entity \(e_{2}\)의 recall을 측정하는 metric으로 정의합니다. 이는 two-hop prompt에서 bridge entity의 설명적 언급이 있는 마지막 위치에 있는 특정 layer \(l\)의 hidden representation과 관련하여 정의됩니다. 이 hidden representation은 vocabulary space에 투영되어 entity 이름의 첫 번째 token(예: "Stevie Wonder"의 첫 번째 token)의 log probability를 계산합니다.
엔트렉은 2홉 프롬프트 \(tau_{\text{2H}}\) 내에서 LLM의 브리지 엔티티 \(e_{2}\)의 리콜을 측정하는 메트릭으로 정의합니다. 이는 2홉 프롬프트에서 브리지 엔티티의 설명적 언급이 있는 마지막 위치에 있는 특정 레이어 \(l\)의 숨겨진 표현과 관련하여 정의됩니다. 이 숨겨진 표현은 어휘 공간에 투영되어 엔티티 이름의 첫 번째 토큰(예: "스티비 원더"의 첫 번째 토큰)의 로그 확률을 계산합니다.