We also believe that further exploration of the specific nature of the singular components after the collapse we describe in Section 4.2 could improve our understanding of LM saturation. We hypothesize that the resulting dominating components are correlated with token frequency, based on previous works that link anisotropy with token frequency (Gao et al., 2019; Ethayarajh, 2019; Bis et al., 2021) and show the importance of token frequency in the LM head mechanism (Meister et al., 2023).
또한 섹션 4.2에서 설명하는 붕괴 후 특정 구성 요소의 특정 특성을 추가로 탐구하면 LM saturation에 대한 이해를 향상시킬 수 있다고 생각합니다. 우리는 이방성을 토큰 빈도와 연관시키는 이전 연구(Gao et al., 2019; Ethayarajh, 2019; Bis et al., 2021)와 LM head 메커니즘에서 토큰 빈도의 중요성을 보여주는 연구(Meister et al., 2023)를 바탕으로 결과 도미넌트 구성 요소가 토큰 빈도와 상관관계가 있다고 가설을 세웁니다.
또한 섹션 4.2에서 설명하는 붕괴 후 특정 구성 요소의 특정 특성을 추가로 탐구하면 LM 포화에 대한 이해를 향상시킬 수 있다고 생각합니다. 우리는 이방성을 토큰 빈도와 연관시키는 이전 연구(Gao et al., 2019; Ethayarajh, 2019; Bis et al., 2021)와 LM 헤드 메커니즘에서 토큰 빈도의 중요성을 보여주는 연구(Meister et al., 2023)를 바탕으로 결과 도미넌트 구성 요소가 토큰 빈도와 상관관계가 있다고 가설을 세웁니다.