The representation degeneration problem is a common phenomenon that affects self-supervised learning methods used for textual data (Gao et al., 2019; Lai et al., 2023), among other modalities (Jing et al., 2022; Godey et al., 2024). Many observations on the intermediate representations of Language Models (LMs) have shed light on their low angular variability (or _anisotropy_) (Zhou et al., 2021; Rajee & Pilehvar, 2022) or on outlier dimensions that emerged during training (Puccetti et al., 2022). However, these observations were mostly made on relatively small-scale models of dimensions comparable to BERT (Devlin et al., 2019) or models from the GPT-2 family (Radford et al., 2019).
표현 변성 문제는 텍스트 데이터(Gao et al., 2019; Lai et al., 2023)에 사용되는 self-supervised learning 방법에 영향을 미치는 일반적인 현상입니다. 다른 방식(Jing et al., 2022; Godey et al., 2024)과 마찬가지로, Language Models (LMs)의 중간 표현에 대한 많은 관찰을 통해 낮은 각도 변동성(또는 _anisotropy_) (Zhou et al., 2021; Rajee & Pilehvar, 2022) 또는 훈련 중에 나타난 이상치 차원(Puccetti et al., 2022)에 대한 조명을 비추었습니다. 그러나 이러한 관찰은 대부분 BERT(Devlin et al., 2019)와 비슷한 차원의 비교적 작은 규모의 모델 또는 GPT-2 제품군(Radford et al., 2019)의 모델에서 이루어졌습니다.
표현 변성 문제는 텍스트 데이터(Gao et al., 2019; Lai et al., 2023)에 사용되는 자가 지도 학습 방법에 영향을 미치는 일반적인 현상입니다. 다른 방식(Jing et al., 2022; Godey et al., 2024)과 마찬가지로, 언어 모델(LM)의 중간 표현에 대한 많은 관찰을 통해 낮은 각도 변동성(또는 _이방성_) (Zhou et al., 2021; Rajee & Pilehvar, 2022) 또는 훈련 중에 나타난 이상치 차원(Puccetti et al., 2022)에 대한 조명을 비추었습니다. 그러나 이러한 관찰은 대부분 BERT(Devlin et al., 2019)와 비슷한 차원의 비교적 작은 규모의 모델 또는 GPT-2 제품군(Radford et al., 2019)의 모델에서 이루어졌습니다.