Hoffmann et al. (2022) investigate the optimal model size and number of training tokens for training a transformer language model under a given compute budget. The authors train over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens and find that for compute-optimal training, the model size and number of training tokens should scale at equal rates: for every doubling of model size, the number of training tokens should also be doubled. They then train a model called Chinchilla that is compute-optimal according to their results. For this reason, the scaling laws they propose are often called "Chinchilla scaling laws".
호프만 등(2022)은 주어진 컴퓨팅 예산 하에서 Transformer 언어 모델을 훈련하기 위한 최적의 모델 크기와 훈련 토큰 수를 조사합니다. 저자들은 70 million에서 16 billion 개 이상의 파라미터에 이르는 400개 이상의 언어 모델을 5 billion에서 500 billion 개의 토큰에 대해 훈련하고, compute-optimal 훈련을 위해서는 모델 크기와 훈련 토큰 수가 동일한 비율로 확장되어야 한다는 사실을 발견했습니다: 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어나야 합니다. 그런 다음 그 결과에 따라 compute-optimal된 모델인 Chinchilla를 훈련합니다. 이러한 이유로 이들이 제안한 scaling laws는 종종 "Chinchilla scaling laws"라고 불립니다.
호프만 등(2022)은 주어진 컴퓨팅 예산 하에서 트랜스포머 언어 모델을 훈련하기 위한 최적의 모델 크기와 훈련 토큰 수를 조사합니다. 저자들은 50억에서 160억 개 이상의 파라미터에 이르는 400개 이상의 언어 모델을 50억에서 5000억 개의 토큰에 대해 훈련하고, 컴퓨팅 최적화 훈련을 위해서는 모델 크기와 훈련 토큰 수가 동일한 비율로 확장되어야 한다는 사실을 발견했습니다: 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어나야 합니다. 그런 다음 그 결과에 따라 컴퓨팅 최적화된 모델인 Chinchilla를 훈련합니다. 이러한 이유로 이들이 제안한 확장 법칙은 종종 "친칠라 확장 법칙"이라고 불립니다.