The proposed definition of EntRec is inspired by previous works which report that the representation constructed at the last token position of a subject often plays an important role in encoding information about the subject (Meng et al., 2022; Geva et al., 2023), the work of nostalgebraist (2020) that projects early-layer outputs to the vocabulary space, and the work of Geva et al. (2022) which shows that such projections at the last subject token position of one-hop prompts provide interpretable top-rank attributes that are semantically relevant to the subject. Although EntRec assesses the recall of an entity with respect to only the first token of its name, it is directly related to how auto-regressive LLMs process the input text and prepare the next token to generate. A control experiment in Appendix C validates EntRec as a reasonable proxy for measuring the internal entity recall.
제안된 EntRec의 정의는 주어의 마지막 token 위치에서 구성된 표현이 주어에 대한 정보를 인코딩하는 데 중요한 역할을 하는 경우가 많다는 이전 연구(Meng et al., 2022; Geva et al., 2023)에서 영감을 받았으며, 초기 layer 출력을 어휘 공간에 투영하는 nostalgebraist(2020)의 연구와 한 단계 prompt의 마지막 주어 token 위치에서 이러한 투영이 주어와 의미적으로 관련된 해석 가능한 상위 순위 속성을 제공한다는 Geva 등(2022)의 연구에서 영감을 받았습니다. EntRec은 이름의 첫 번째 token에 대해서만 엔티티의 recall을 평가하지만, auto-regressive LLM이 입력 텍스트를 처리하고 생성할 다음 token을 준비하는 방식과 직접적으로 관련이 있습니다. 부록 C의 제어 실험은 내부 엔티티 recall을 측정하기 위한 합리적인 대리 역할을 하는 EntRec의 타당성을 검증합니다.
제안된 EntRec의 정의는 주어의 마지막 토큰 위치에서 구성된 표현이 주어에 대한 정보를 인코딩하는 데 중요한 역할을 하는 경우가 많다는 이전 연구(Meng et al., 2022; Geva et al., 2023)에서 영감을 받았으며, 초기 레이어 출력을 어휘 공간에 투영하는 노스탤지브리스트(2020)의 연구와 한 단계 프롬프트의 마지막 주어 토큰 위치에서 이러한 투영이 주어와 의미적으로 관련된 해석 가능한 상위 순위 속성을 제공한다는 Geva 등(2022)의 연구에서 영감을 받았습니다. EntRec은 이름의 첫 번째 토큰에 대해서만 엔티티의 리콜을 평가하지만, 자동 회귀 LLM이 입력 텍스트를 처리하고 생성할 다음 토큰을 준비하는 방식과 직접적으로 관련이 있습니다. 부록 C의 제어 실험은 내부 엔티티 리콜을 측정하기 위한 합리적인 대리 역할을 하는 EntRec의 타당성을 검증합니다.