1. Training models of fixed sizes on varying numbers of tokens. 2. Training models of varying sizes targeting fixed compute budgets (IsoFLOP profiles). 3. Fitting a parametric model of the loss as a function of model size and training tokens.
1. 고정된 크기의 모델을 다양한 수의 토큰으로 훈련시키기. 2. 고정된 계산 예산(IsoFLOP 프로필)을 목표로 다양한 크기의 모델을 훈련시키기. 3. 모델 크기와 훈련 토큰의 함수로서 손실의 파라메트릭 모델을 맞추기.
1. 다양한 토큰 수에 대해 고정된 크기의 모델을 학습합니다. 2. 고정된 컴퓨팅 예산(IsoFLOP 프로필)을 대상으로 다양한 크기의 모델을 학습합니다. 3. 모델 크기와 학습 토큰의 함수로서 손실의 파라메트릭 모델 맞춤.