Synthetic data scaling.The impressive performance of many over-trained small language models (e.g., Mistral series models (Jiang et al., 2023), and Gemma series models (Gemma-Team et al., 2024), _inter alia_) demonstrates the necessity of training with large amount of tokens (even passing the compute-optimal chinchilla law (Rae et al., 2021)). However, whether we have similar conclusions on the training with synthetic data is still an open question, as the quality of synthetic data may not be as consistent as real-world data (Yu et al., 2024). Future research should investigate the scaling laws for synthetic data and determine the optimal balance between the quantity and quality of synthetic samples. This exploration could help us understand the most effective strategies for leveraging synthetic data in training large-scale language models, potentially leading to more efficient and cost-effective approaches (Muennighoff et al., 2024).
합성 데이터 scaling. 과잉 훈련된 많은 소형 언어 모델(예: Mistral 시리즈 모델(Jiang et al., 2023), 그리고 Gemma 시리즈 모델(Gemma-Team et al., 2024) 등)의 인상적인 성능은 대량의 토큰으로 훈련해야 한다는 것을 보여줍니다(계산 최적의 Chinchilla 법칙(Rae et al., 2021)을 통과하더라도). 그러나 합성 데이터의 품질이 실제 데이터만큼 일관성이 없을 수 있기 때문에 합성 데이터로 훈련할 때도 비슷한 결론을 내릴 수 있는지는 여전히 미해결 과제입니다(Yu et al., 2024). 향후 연구에서는 합성 데이터에 대한 scaling laws를 조사하고 합성 샘플의 양과 품질 간의 최적 균형을 결정해야 합니다. 이러한 탐구는 대규모 언어 모델을 훈련할 때 합성 데이터를 활용하는 가장 효과적인 전략을 이해하는 데 도움이 될 수 있으며, 잠재적으로 보다 효율적이고 비용 효율적인 접근 방식으로 이어질 수 있습니다(Muennighoff et al., 2024).
합성 데이터 스케일링. 과잉 훈련된 많은 소형 언어 모델(예: 미스트랄 시리즈 모델(Jiang et al., 2023), 그리고 제마 시리즈 모델(Gemma-Team et al., 2024) 등)의 인상적인 성능은 대량의 토큰으로 훈련해야 한다는 것을 보여줍니다(계산 최적의 친칠라 법칙(Rae et al., 2021)을 통과하더라도). 그러나 합성 데이터의 품질이 실제 데이터만큼 일관성이 없을 수 있기 때문에 합성 데이터로 훈련할 때도 비슷한 결론을 내릴 수 있는지는 여전히 미해결 과제입니다(Yu et al., 2024). 향후 연구에서는 합성 데이터에 대한 확장 법칙을 조사하고 합성 샘플의 양과 품질 간의 최적 균형을 결정해야 합니다. 이러한 탐구는 대규모 언어 모델을 훈련할 때 합성 데이터를 활용하는 가장 효과적인 전략을 이해하는 데 도움이 될 수 있으며, 잠재적으로 보다 효율적이고 비용 효율적인 접근 방식으로 이어질 수 있습니다(Muennighoff et al., 2024).