ExperimentWe demonstrate that EntRec is a reasonable approximation of the internal recall of the bridge entity with indirect evidence. Note that EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\) is calculated not at the last token of \(\tau_{\text{2H}}\) but at the last token of the bridge entity's descriptive mention, where it is grammatically natural to prepend a comma followed by the name of \(e_{2}\) (e.g., "The mother of the singer of 'Superstition', _Stevie Wonder_"). In the resulting string, grammatically \(\mu(r_{1}(e_{1}))\)) becomes the _antecedent_ and \(e_{2}\) becomes the _appositive_; an appositive is a noun phrase that follows another noun phrase in opposition to it and provides information that further identifies or defines it, and the antecedent is the noun phrase that the appositive describes. Then, if EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\) reasonably approximates the internal recall of the bridge entity \(e_{2}\), it is expected that _there will be at least some layers \(l\) where increasing EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\) increases the relative frequency of the LLM to generate \(e_{2}^{(0)}\) with a relative frequency higher than random chance_.
실험우리는 간접적인 증거를 통해 EntRec이 브리지 엔티티의 내부 리콜을 합리적으로 approximation한다는 것을 입증합니다. EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)는 \(\tau_{\text{2H}}\)의 마지막 토큰이 아니라 브리지 엔티티의 설명적 언급의 마지막 토큰에서 계산되며, 문법적으로 쉼표 뒤에 \(e_{2}\)의 이름을 앞에 붙이는 것이 자연스럽습니다(예: "'superstition'의 가수의 어머니, _스티비 원더_"). 결과 문자열에서 문법적으로 \(\mu(r_{1}(e_{1}))\))는 _antecedent_가 되고 \(e_{2}\)는 _appositive_가 되며, appositive는 다른 명사구 뒤에 반대되는 명사구가 되어 그 명사구를 더 식별하거나 정의하는 정보를 제공하며, antecedent는 명사구가 설명하는 명사구가 됩니다. 그런 다음 EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)이 브리지 엔티티 \(e_{2}\)의 내부 리콜을 합리적으로 approximation한다면, EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)을 증가시키면 LLM이 상대적 빈도가 무작위 확률보다 높은 \(e_{2}^{(0)}\)을 생성하는 상대 빈도가 증가하는 층 \(l\)이 적어도 몇 개 이상 존재할 것으로 예상됩니다.
실험우리는 간접적인 증거를 통해 EntRec이 브리지 엔티티의 내부 리콜을 합리적으로 근사화한다는 것을 입증합니다. EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)는 \(\tau_{\text{2H}}\)의 마지막 토큰이 아니라 브리지 엔티티의 설명적 언급의 마지막 토큰에서 계산되며, 문법적으로 쉼표 뒤에 \(e_{2}\)의 이름을 앞에 붙이는 것이 자연스럽습니다(예: "'superstition'의 가수의 어머니, _스티비 원더_"). 결과 문자열에서 문법적으로 \(\mu(r_{1}(e_{1}))\))는 _전치사_가 되고 \(e_{2}\)는 _명사절_이 되며, 명사절은 다른 명사절 뒤에 반대되는 명사절이 되어 그 명사절을 더 식별하거나 정의하는 정보를 제공하며, 선행사는 명사절이 설명하는 명사절이 됩니다. 그런 다음 EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)이 브리지 엔티티 \(e_{2}\)의 내부 리콜을 합리적으로 근사화한다면, EntRec\({}^{l}(e_{2},\tau_{\text{2H}})\)을 증가시키면 LLM이 상대적 빈도가 무작위 확률보다 높은 \(e_{2}^{(0)}\)을 생성하는 상대 빈도가 증가하는 층 \(l\)이 적어도 몇 개 이상 존재할 것으로 예상됩니다.