**Chinchilla:** In [2], Hoffmann et al. investigated the optimal model size and number of tokens for training a transformer language model under a given compute budget. By training over 400 language models ranging from 70 million to over 16 billion parameters on 5 to 500 billion tokens, they found that for compute-optimal training, the model size and the number of training tokens should be scaled equally: for every doubling of model size the number of training tokens should also be doubled. They tested this hypothesis by training a predicted compute-optimal model, Chinchilla, that uses the same compute budget as Gopher but with 70B parameters and 4% more more data.
**Chinchilla:** [2]에서 Hoffmann 등은 주어진 compute budget 하에서 Transformer 언어 모델을 훈련하기 위한 최적의 모델 크기와 토큰 수를 조사했습니다. 7천만 개에서 160억 개 이상의 파라미터에 이르는 400개 이상의 언어 모델을 50억 개에서 5,000억 개 이상의 토큰에 대해 훈련한 결과, compute-optimal 훈련의 경우 모델 크기와 훈련 토큰 수를 동일하게 확장해야 한다는 사실을 발견했습니다. 즉, 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어나야 합니다. 이 가설을 테스트하기 위해 compute budget은 Gopher와 동일하지만 파라미터는 700억 개, 데이터는 4% 더 많은 예측 compute-optimal 모델인 Chinchilla를 훈련했습니다.
**친칠라:** [2]에서 호프만 등은 주어진 컴퓨팅 예산 하에서 트랜스포머 언어 모델을 훈련하기 위한 최적의 모델 크기와 토큰 수를 조사했습니다. 7천만 개에서 160억 개 이상의 파라미터에 이르는 400개 이상의 언어 모델을 50억 개에서 5,000억 개 이상의 토큰에 대해 훈련한 결과, 컴퓨팅 최적화 훈련의 경우 모델 크기와 훈련 토큰 수를 동일하게 확장해야 한다는 사실을 발견했습니다. 즉, 모델 크기가 두 배로 늘어날 때마다 훈련 토큰 수도 두 배로 늘어나야 합니다. 이 가설을 테스트하기 위해 컴퓨팅 예산은 고퍼와 동일하지만 파라미터는 700억 개, 데이터는 4% 더 많은 예측 컴퓨팅 최적 모델인 친칠라를 훈련했습니다.