MetricsOur measure of internal entity recall is an approximation as we use only the first token of the entity, although it is directly related to how LLMs process the input text and prepare the next token to generate. Moreover, the internal entity recall score is based on logit lens (nostalgebraist, 2020) which has shortcomings such as representation drift, bias, and brittleness (Belrose et al., 2023; Timkey and van Schijndel, 2021). However, these limitations have minimal effect on our analysis because our focus is not on making the prediction accurate in early layers as studied for adaptive computation methods such as early exit (Din et al., 2023), but to study the LLM's internal dynamics as-is.
메트릭 내부 엔티티 리콜의 측정은 엔티티의 첫 번째 토큰만 사용하기 때문에 approximation이지만, LLM이 입력 텍스트를 처리하고 다음 토큰을 생성하기 위해 준비하는 방식과 직접적으로 관련이 있습니다. 또한 내부 엔티티 리콜 점수는 logit lens (nostalgebraist, 2020)를 기반으로 하며, 표현 드리프트, 편향성, 취약성(Belrose et al., 2023; Timkey and van Schijndel, 2021)과 같은 단점이 있습니다. 그러나 이러한 한계는 early exit (Din et al., 2023)과 같은 적응형 계산 방법에 대해 연구된 것처럼 초기 레이어에서 예측을 정확하게 만드는 데 초점을 맞추는 것이 아니라 LLM의 내부 동역학을 그대로 연구하기 때문에 분석에 미치는 영향은 미미합니다.
메트릭내부 엔티티 리콜의 측정은 엔티티의 첫 번째 토큰만 사용하기 때문에 근사치이지만, LLM이 입력 텍스트를 처리하고 다음 토큰을 생성하기 위해 준비하는 방식과 직접적으로 관련이 있습니다. 또한 내부 엔티티 리콜 점수는 로짓 렌즈(nostalgebraist, 2020)를 기반으로 하며, 표현 드리프트, 편향성, 취약성(Belrose et al., 2023; Timkey and van Schijndel, 2021)과 같은 단점이 있습니다. 그러나 이러한 한계는 조기 종료(Din et al., 2023)와 같은 적응형 계산 방법에 대해 연구된 것처럼 초기 레이어에서 예측을 정확하게 만드는 데 초점을 맞추는 것이 아니라 LLM의 내부 동역학을 그대로 연구하기 때문에 분석에 미치는 영향은 미미합니다.