This study was extended to demonstrate many more power law relations in various scenarios (vision transformer, video modeling, multimodal models, and mathematical problem solving) (Henighan et al., 2021). In the machine translation (MT) setting, (Gordon et al., 2021) quantify scaling laws for standard benchmarks like BLEU and explain them via cross-entropy power-law scaling, thus positing a first universality of scaling laws across metrics. (Hernandez et al., 2021) demonstrate similar empirical power-law scaling for transfer learning and (Aghajanyan et al., 2023) provide a vast experimental body of evidence for scaling laws in mixed-modal language models.
이 연구는 다양한 시나리오(vision Transformer, 비디오 모델링, 멀티모달 모델, 수학적 문제 해결)에서 더 많은 거듭제곱 법칙 관계를 입증하기 위해 확장되었습니다(Henighan et al., 2021). 기계 번역(MT) 설정에서 (Gordon et al., 2021)은 표준 벤치마크에 대한 scaling laws를 정량화하고 교차 엔트로피 거듭제곱 법칙 스케일링을 통해 설명함으로써 메트릭 전반에 걸친 scaling laws의 첫 번째 보편성을 제안합니다. (Hernandez et al., 2021)은 전이 학습에 대해 유사한 경험적 거듭제곱 법칙 스케일링을 입증하고 (Aghajanyan et al., 2023)은 혼합 모달 언어 모델에서 scaling laws에 대한 방대한 실험적 증거를 제공합니다.
이 연구는 다양한 시나리오(비전 트랜스포머, 비디오 모델링, 멀티모달 모델, 수학적 문제 해결)에서 더 많은 거듭제곱 법칙 관계를 입증하기 위해 확장되었습니다(Henighan et al., 2021). 기계 번역(MT) 설정에서 (Gordon et al., 2021)은 표준 벤치마크에 대한 스케일링 법칙을 정량화하고 교차 엔트로피 거듭제곱 법칙 스케일링을 통해 설명함으로써 메트릭 전반에 걸친 스케일링 법칙의 첫 번째 보편성을 제안합니다. (Hernandez et al., 2021)은 전이 학습에 대해 유사한 경험적 거듭제곱 법칙 스케일링을 입증하고 (Aghajanyan et al., 2023)은 혼합 모달 언어 모델에서 스케일링 법칙에 대한 방대한 실험적 증거를 제공합니다.