Recent research, including studies by Hoffmann et al. (2022) and Muennighoff et al. (2024), highlights the importance of a balanced approach in scaling both model size and training data to enhance model capabilities. Specifically, enlarging pre-training datasets has been emphasized as a crucial step forward. However, challenges arise in addressing data limitations, such as the potential pitfalls of up-sampling. Hernandez et al. (2021) demonstrated that increasing only 0.1% of the training dataset by a factor of 100 significantly reduced model efficacy, pointing out the limitations of simple data amplification strategies. Meanwhile, Muennighoff et al. (2024) approach, which involved repeating the entire pre-training dataset across multiple epochs, showed promising results.
Hoffmann 등(2022)과 Muennighoff 등(2024)의 연구를 포함한 최근 연구에서는 모델 능력을 향상시키기 위해 모델 크기와 훈련 데이터를 모두 확장하는 데 있어 균형 잡힌 접근 방식의 중요성을 강조하고 있습니다. 특히 pre-training 데이터 세트를 확장하는 것이 중요한 단계로 강조되고 있습니다. 그러나 up-sampling과 같은 잠재적인 함정과 같이 데이터 제한을 해결하는 데는 어려움이 있습니다. Hernandez 등(2021)은 훈련 데이터 세트의 0.1%만 100배 늘리면 모델 효율성이 크게 저하된다는 사실을 입증하여 단순한 데이터 증폭 전략의 한계를 지적했습니다. 한편, 전체 pre-training 데이터 세트를 여러 epoch에 걸쳐 반복하는 Muennighoff 등(2024)의 접근 방식은 유망한 결과를 보여주었습니다.
Hoffmann 등(2022)과 Muennighoff 등(2024)의 연구를 포함한 최근 연구에서는 모델 능력을 향상시키기 위해 모델 크기와 훈련 데이터를 모두 확장하는 데 있어 균형 잡힌 접근 방식의 중요성을 강조하고 있습니다. 특히 사전 학습 데이터 세트를 확장하는 것이 중요한 단계로 강조되고 있습니다. 그러나 업샘플링과 같은 잠재적인 함정과 같이 데이터 제한을 해결하는 데는 어려움이 있습니다. Hernandez 등(2021)은 훈련 데이터 세트의 0.1%만 100배 늘리면 모델 효율성이 크게 저하된다는 사실을 입증하여 단순한 데이터 증폭 전략의 한계를 지적했습니다. 한편, 전체 사전 학습 데이터 세트를 여러 에포크에 걸쳐 반복하는 Muennighoff 등(2024)의 접근 방식은 유망한 결과를 보여주었습니다.