However, it remains unclear whether anisotropy affects models with over 1 billion parameters. In order to address this question, we compute average cosine-similarity of intermediate representations across layers in suites of models; namely GPT-2 (Radford et al., 2019), OPT (Zhang et al., 2022), Pythia (Biderman et al., 2023), and Gemma (Team et al., 2024). We use a subsample of The Pile (Gao et al., 2020), as we hypothesize that the domain of this dataset includes or matches the domain of the pretraining datasets used in these suites.
그러나 이방성이 10억 개 이상의 파라미터를 가진 모델에 영향을 미치는지 여부는 아직 명확하지 않습니다. 이 문제를 해결하기 위해 우리는 일련의 모델(즉, GPT-2(Radford et al., 2019), OPT(Zhang et al., 2022), Pythia(Biderman et al., 2023), Gemma(Team et al., 2024))에서 레이어 간의 중간 표현의 평균 cosine-similarity를 계산합니다. 이 데이터 세트의 도메인이 이러한 제품군에 사용된 pretraining 데이터 세트의 도메인을 포함하거나 일치한다고 가정하기 때문에 The Pile(Gao et al., 2020)의 하위 샘플을 사용합니다.
그러나 이방성이 10억 개 이상의 파라미터를 가진 모델에 영향을 미치는지 여부는 아직 명확하지 않습니다. 이 문제를 해결하기 위해 우리는 일련의 모델(즉, GPT-2(Radford et al., 2019), OPT(Zhang et al., 2022), Pythia(Biderman et al., 2023), Gemma(Team et al., 2024))에서 레이어 간의 중간 표현의 평균 코사인 유사도를 계산합니다. 이 데이터 세트의 도메인이 이러한 제품군에 사용된 전처리 데이터 세트의 도메인을 포함하거나 일치한다고 가정하기 때문에 더 파일(Gao et al., 2020)의 하위 샘플을 사용합니다.