Footnote 8: Quoting (Shumailov et al., 2023), we state that one can, in principle, replicate an experiment described here with training an LLM from scratch to demonstrate scaling law decay. Given that training a single moderately large model produces twice the American lifetime worth of CO2 (Strubell et al., 2019), we opted to not run such an experiment and instead focus on a more feasible finetuning setting. Note that just the language experiments described in the paper took weeks to run.
각주 8: (Shumailov 등, 2023)을 인용하여, 본 논문에서 설명한 실험을 처음부터 LLM을 학습시켜 scaling law decay를 입증할 수 있다고 말합니다. 단일 중간 규모의 모델을 학습하는 데만 미국 평생 생산되는 CO2의 두 배가 발생한다는 점을 감안하여(Strubell et al., 2019), 이러한 실험을 실행하지 않고 보다 실현 가능한 Fine-tuning 설정에 집중하기로 결정했습니다. 논문에 설명된 언어 실험만 몇 주가 걸렸다는 점에 유의하세요.
각주 8: (Shumailov 등, 2023)을 인용하여, 본 논문에서 설명한 실험을 처음부터 LLM을 학습시켜 스케일링 법칙 감소를 입증할 수 있다고 말합니다. 단일 중간 규모의 모델을 학습하는 데만 미국 평생 생산되는 CO2의 두 배가 발생한다는 점을 감안하여(Strubell et al., 2019), 이러한 실험을 실행하지 않고 보다 실현 가능한 미세 조정 설정에 집중하기로 결정했습니다. 논문에 설명된 언어 실험만 몇 주가 걸렸다는 점에 유의하세요.