Related Work.Theoretically, scaling laws have been derived in various settings: for non-parametric models (Schmidt-Hieber, 2017; Suzuki, 2019; Bordelon et al., 2020), in the kernel regime under the Gaussian design (Spigler et al., 2020; Cui et al., 2021, 2022; Maloney et al., 2022), or in memorization-like settings with discrete data (Hutter, 2021; Debowski, 2023; Michaud et al., 2023). Taking finite model capacity and optimization into account, Cabannes et al. (2023) recently proved scaling laws in constraint-capacity associative memories, and our Triplet Scaling Law builds on this work.
관련 연구. 이론적으로 scaling laws는 비모수 모델(Schmidt-Hieber, 2017; Suzuki, 2019; Bordelon et al., 2020), 가우스 설계 하에서 커널 영역(Spigler et al., 2020; Cui et al., 2021, 2022; Maloney et al., 2022) 또는 이산 데이터가 있는 기억화와 같은 설정(Hutter, 2021; Debowski, 2023; Michaud et al., 2023)에서 도출되었습니다. 유한 모델 용량과 optimization을 고려하여 Cabannes et al. (2023)은 최근 제약-용량 연관 메모리에서 scaling laws를 증명했으며, 우리의 Triplet Scaling Law는 이 작업을 기반으로 합니다.
관련 연구. 이론적으로 스케일링 법칙은 비모수 모델(Schmidt-Hieber, 2017; Suzuki, 2019; Bordelon et al., 2020), 가우스 설계 하에서 커널 영역(Spigler et al., 2020; Cui et al., 2021, 2022; Maloney et al., 2022) 또는 이산 데이터가 있는 기억화와 같은 설정(Hutter, 2021; Debowski, 2023; Michaud et al., 2023)에서 도출되었습니다. 유한 모델 용량과 최적화를 고려하여 Cabannes et al. (2023)은 최근 제약-용량 연관 메모리에서 스케일링 법칙을 증명했으며, 우리의 트리플릿 스케일링 법칙은 이 작업을 기반으로 합니다.