Data Dimensionality and PerformanceSharma & Kaplan (2022) link the scaling laws observed across pretrained models to data dimensionality, through the lens of Intrinsic Dimension (Camastra & Staiano, 2016). While they show that Singular Value Decomposition (SVD) is not suited for studying the dimensionality of the data manifold in the universal approximation paradigm, we argue that it is well-suited, to a certain extent, when studying the performance of a linear classifier limited by the dimensionality of input representations.
데이터 차원성 및 성능Sharma & Kaplan(2022)은 사전 학습된 모델 전반에서 관찰되는 scaling laws를 Intrinsic Dimension(Camastra & Staiano, 2016)의 렌즈를 통해 데이터 차원성과 연결합니다. 이들은 Singular Value Decomposition(SVD)가 범용 근사 패러다임에서 데이터 매니폴드의 차원을 연구하는 데 적합하지 않다는 것을 보여 주지만, 입력 표현의 차원에 의해 제한되는 선형 분류기의 성능을 연구할 때는 어느 정도 적합하다고 주장합니다.
데이터 차원성 및 성능Sharma & Kaplan(2022)은 사전 학습된 모델 전반에서 관찰되는 확장 법칙을 내재적 차원(Camastra & Staiano, 2016)의 렌즈를 통해 데이터 차원성과 연결합니다. 이들은 특이값 분해(SVD)가 범용 근사 패러다임에서 데이터 매니폴드의 차원을 연구하는 데 적합하지 않다는 것을 보여 주지만, 입력 표현의 차원에 의해 제한되는 선형 분류기의 성능을 연구할 때는 어느 정도 적합하다고 주장합니다.