Recent studies on scaling laws [29; 30; 36] have underscored the predictable improvement in model performance with increases in computational budget, model size, and data size. Yet, identifying the most effective distribution of resources between model and data sizes upon expanding the computational budget remains a formidable challenge in the field of scaling laws. Additionally, research conducted by DeepSeek-AI et al. [17] has highlighted that the allocation of an increased computational budget towards model scaling should be proportional to the quality of the data available. In light of these insights, we propose a novel approach aimed at dynamically adjusting the resource allocation between data and model sizes through a series of staged training processes. This strategy iteratively fine-tunes the balance between data characteristics and model size according to scaling laws, enhancing both model training efficiency and performance.
최근의 scaling laws 연구[29; 30; 36]는 계산 예산, 모델 크기, 데이터 크기가 증가함에 따라 모델 성능이 예측 가능하게 향상됨을 강조하고 있습니다. 그러나 계산 예산을 확장할 때 모델과 데이터 크기 사이에서 가장 효과적인 리소스 배분을 식별하는 것은 여전히 scaling laws 분야에서 난제로 남아 있습니다. 또한 DeepSeek-AI 등의 연구[17]에서는 계산 예산이 증가하면 모델 크기를 확장하는 데 더 많은 리소스를 할당해야 하며, 이는 사용 가능한 데이터의 품질에 비례해야 한다고 강조했습니다. 이러한 인사이트에 비추어 볼 때, 일련의 단계별 훈련 프로세스를 통해 데이터와 모델 크기 사이의 리소스 할당을 동적으로 조정하는 새로운 접근 방식을 제안합니다. 이 전략은 scaling laws에 따라 데이터 특성과 모델 크기 사이의 균형을 반복적으로 Fine-tuning하여 모델 학습 효율성과 성능을 모두 향상시킵니다.
최근의 스케일링 법칙 연구[29; 30; 36]는 계산 예산, 모델 크기, 데이터 크기가 증가함에 따라 모델 성능이 예측 가능하게 향상됨을 강조하고 있습니다. 그러나 계산 예산을 확장할 때 모델과 데이터 크기 사이에서 가장 효과적인 리소스 배분을 식별하는 것은 여전히 스케일링 법칙 분야에서 난제로 남아 있습니다. 또한 DeepSeek-AI 등의 연구[17]에서는 계산 예산이 증가하면 모델 크기를 확장하는 데 더 많은 리소스를 할당해야 하며, 이는 사용 가능한 데이터의 품질에 비례해야 한다고 강조했습니다. 이러한 인사이트에 비추어 볼 때, 일련의 단계별 훈련 프로세스를 통해 데이터와 모델 크기 사이의 리소스 할당을 동적으로 조정하는 새로운 접근 방식을 제안합니다. 이 전략은 스케일링 법칙에 따라 데이터 특성과 모델 크기 사이의 균형을 반복적으로 미세 조정하여 모델 학습 효율성과 성능을 모두 향상시킵니다.