Research into the optimal allocation strategies for model/data size enhancement (Hoffmann et al., 2022; Kaplan et al., 2020) has led to varied conclusions, prompting skepticism about the universal applicability of the Scaling Law. Furthermore, structural differences among models, disparities in the quality of training data, and variations in hyperparameter configurations are often primary factors that contribute to the discrepancies observed in the Scale Law. Baichuan2 has conducted experiments employing the Scale Law as proposed by Henighan et al. (2020). Meanwhile, the two models of Deepseek have adopted the IsoFLOP profile approach from chinchilla, and have implemented certain degrees of optimization to it.
모델/데이터 크기 확장을 위한 최적의 할당 전략에 대한 연구(Hoffmann et al., 2022; Kaplan et al., 2020)는 다양한 결론을 이끌어냈으며, Scaling Law의 보편적인 적용 가능성에 대한 회의론을 불러일으켰습니다. 또한 모델 간의 구조적 차이, 훈련 데이터의 품질 차이, 하이퍼파라미터 구성의 차이가 Scaling Law에서 관찰되는 불일치의 주요 원인이 되는 경우가 많습니다. Baichuan2는 Henighan 등(2020)이 제안한 Scaling Law를 사용하여 실험을 수행했습니다. 한편, Deepseek의 두 모델은 Chinchilla의 IsoFLOP 프로파일 접근 방식을 채택하고 이에 대해 어느 정도 최적화를 구현했습니다.
모델/데이터 크기 확장을 위한 최적의 할당 전략에 대한 연구(Hoffmann et al., 2022; Kaplan et al., 2020)는 다양한 결론을 이끌어냈으며, 스케일링 법칙의 보편적인 적용 가능성에 대한 회의론을 불러일으켰습니다. 또한 모델 간의 구조적 차이, 훈련 데이터의 품질 차이, 하이퍼파라미터 구성의 차이가 스케일 법칙에서 관찰되는 불일치의 주요 원인이 되는 경우가 많습니다. 바이추안2는 헤니건 등(2020)이 제안한 스케일 법칙을 사용하여 실험을 수행했습니다. 한편, 딥시크의 두 모델은 칭칠라의 IsoFLOP 프로파일 접근 방식을 채택하고 이에 대해 어느 정도 최적화를 구현했습니다.