RepresentationDegenerationis a phenomenon in which pretrained models tend to adopt low-entropy singular value distributions (Jing et al., 2022). In language modeling, representation degeneration takes the form of anisotropy (Ethayarajh, 2019; Rajee & Pilehvar, 2021) and was proven to be related with the Zipfian shape of token distribution (Gao et al., 2019; Bis et al., 2021). We study this phenomenon along training and its relation with saturation.
RepresentationDegeneration은 사전 학습된 모델이 저엔트로피 특이값 분포를 채택하는 경향이 있는 현상입니다 (Jing et al., 2022). 언어 모델링에서 표현 퇴화는 비등방성의 형태를 띠며 (Ethayarajh, 2019; Rajee & Pilehvar, 2021), 토큰 분포의 Zipfian 형태와 관련이 있는 것으로 입증되었습니다 (Gao et al., 2019; Bis et al., 2021). 우리는 이 현상을 훈련 과정에서 연구하고 포화와의 관계를 조사합니다.
표현열화는 사전 학습된 모델이 저엔트로피 특이값 분포를 채택하는 경향을 보이는 현상입니다(Jing et al., 2022). 언어 모델링에서 표현 열화는 이방성(Ethayarajh, 2019; Rajee & Pilehvar, 2021)의 형태를 취하며 토큰 분포의 지프 형태(Gao et al., 2019; Bis et al., 2021)와 관련이 있는 것으로 입증되었습니다. 우리는 이 현상을 훈련과 포화도와의 관계를 따라 연구합니다.