Small LMs & SaturationBiderman et al. (2023) train Pythia, a suite of models of various sizes on 300B tokens from the Pile (Gao et al., 2020), and release the weights for an exhaustive number of checkpoints during training. They notice that smaller models suffer a performance decrease on the Lambada dataset (Paperno et al., 2016) in late training. The scaling laws (Kaplan et al., 2020; Hoffmann et al., 2022) predict that training smaller models on large corpora is suboptimal in terms of compute. However, recent initiatives (Zhang et al., 2024; Faysse et al., 2024; Team et al., 2024) have pretrained smaller language models on large datasets, motivated by inference cost reduction (Sardana & Frankle, 2023).
작은 LMs 및 포화Biderman 등(2023)은 Pile(Gao 등, 2020)의 300B 토큰에 대해 다양한 크기의 모델 모음인 Pythia를 훈련하고, 훈련 중에 완전한 수의 체크포인트에 대한 가중치를 공개합니다. 이들은 작은 모델이 늦은 훈련 단계에서 Lambada 데이터 세트(Paperno et al., 2016)에서 성능이 저하되는 것을 발견합니다. Scaling laws(Kaplan et al., 2020; Hoffmann et al., 2022)에 따르면 대규모 말뭉치에서 작은 모델을 훈련하는 것은 계산 측면에서 최적이 아닙니다. 그러나 최근 이니셔티브(Zhang et al., 2024; Faysse et al., 2024; Team et al., 2024)에서는 추론 비용 절감(Sardana & Frankle, 2023)에 대한 동기로 대규모 데이터 세트에서 소규모 언어 모델을 사전 학습시켰습니다.
작은 LM 및 포화Biderman 등(2023)은 Pile(Gao 등, 2020)의 300B 토큰에 대해 다양한 크기의 모델 모음인 Pythia를 훈련하고, 훈련 중에 완전한 수의 체크포인트에 대한 가중치를 공개합니다. 이들은 작은 모델이 늦은 훈련 단계에서 Lambada 데이터 세트(Paperno et al., 2016)에서 성능이 저하되는 것을 발견합니다. 스케일링 법칙(Kaplan et al., 2020; Hoffmann et al., 2022)에 따르면 대규모 말뭉치에서 작은 모델을 훈련하는 것은 계산 측면에서 최적이 아닙니다. 그러나 최근 이니셔티브(Zhang et al., 2024; Faysse et al., 2024; Team et al., 2024)에서는 추론 비용 절감(Sardana & Frankle, 2023)에 대한 동기로 대규모 데이터 세트에서 소규모 언어 모델을 사전 학습시켰습니다.