More recently, scaling laws have been shown for kernel models under the Gaussian design, e.g. in (Spigler et al., 2020; Cui et al., 2021; Cui et al., 2022) for regression and (Cui et al., 2023) for classification. (Maloney et al., 2022) study scaling laws for the random feature model in the context of regression. In the context of memorization for heavy-tailed data scaling laws have been shown in the infinite-memory setting (Hutter, 2021), for "quantized" skills (Michaud et al., 2023) and for certain random data-generation processes (Debowski, 2023). When taking model capacity and optimization into account, Cabannes et al. (2023) recently proved scaling laws in constraint-capacity associative memories.
최근에는 회귀(Spigler et al., 2020; Cui et al., 2021; Cui et al., 2022) 및 분류(Cui et al., 2023)의 경우 Gaussian 설계 하에서 커널 모델에 대한 scaling laws가 나타났습니다. (Maloney et al., 2022)는 회귀의 맥락에서 랜덤 피처 모델에 대한 scaling laws를 연구했습니다. 무거운 꼬리 데이터 scaling의 맥락에서 메모리화는 무한 메모리 설정(Hutter, 2021), "quantized" 스킬(Michaud et al., 2023) 및 특정 랜덤 데이터 생성 프로세스(Debowski, 2023)에서 scaling laws가 나타났습니다. 모델 용량과 optimization을 고려할 때, Cabannes et al. (2023)은 최근 제약-용량 연상 기억에서 scaling laws를 증명했습니다.
최근에는 회귀(Spigler et al., 2020; Cui et al., 2021; Cui et al., 2022) 및 분류(Cui et al., 2023)의 경우 가우시안 설계 하에서 커널 모델에 대한 스케일링 법칙이 나타났습니다. (Maloney et al., 2022)는 회귀의 맥락에서 랜덤 피처 모델에 대한 스케일링 법칙을 연구했습니다. 무거운 꼬리 데이터 스케일링의 맥락에서 메모리화는 무한 메모리 설정(Hutter, 2021), "양자화된" 스킬(Michaud et al., 2023) 및 특정 랜덤 데이터 생성 프로세스(Debowski, 2023)에서 스케일링 법칙이 나타났습니다. 모델 용량과 최적화를 고려할 때, Cabannes et al. (2023)은 최근 제약-용량 연상 기억에서 스케일링 법칙을 증명했습니다.