Pretraining data for large language models (LLMs) are typically a mixture of multiple domains, varying from English to minority languages (Doddapaneni et al., 2021; Li et al., 2023), from casual dialogs to formal academic writings (Taylor et al., 2022), and from texts to modalities like images and speeches (Zhan et al., 2024), among others. These data interplay with each other, showing complex interchangeable, unrelated, or contradictory relationships (Guo et al., 2024). This necessitates adjusting the mixture proportions of training data to balance the model capabilities while harnessing synergies across domains, thus enhancing the competence of the outcome models, as highlighted by extensive practical experience (Gao et al., 2020; Gururangan et al., 2020; Zhou et al., 2023; Xie et al., 2024).
대형 언어 모델(LLMs)의 사전 학습 데이터는 일반적으로 여러 도메인의 혼합물로 구성되며, 영어에서 소수 언어(Doddapaneni et al., 2021; Li et al., 2023), 일상 대화에서 공식적인 학술 논문(Taylor et al., 2022), 텍스트에서 이미지와 음성(Zhan et al., 2024)과 같은 다양한 모달리티에 이르기까지 다양합니다. 이러한 데이터는 서로 상호작용하며 복잡한 상호 교환 가능성, 무관성 또는 모순적인 관계를 나타냅니다(Guo et al., 2024). 이는 도메인 간의 시너지를 활용하면서 모델의 능력을 균형 있게 조정하기 위해 훈련 데이터의 혼합 비율을 조정해야 함을 필요로 하며, 이를 통해 결과 모델의 역량을 향상시킬 수 있습니다(Gao et al., 2020; Gururangan et al., 2020; Zhou et al., 2023; Xie et al., 2024).
대규모 언어 모델(LLM)의 사전 학습 데이터는 일반적으로 영어에서 소수 언어(Doddapaneni et al., 2021; Li et al., 2023)에 이르기까지 다양한 도메인, 캐주얼 대화에서 공식적인 학술 글쓰기(Taylor et al., 2022)에 이르기까지 다양한 도메인의 혼합물입니다, 텍스트에서 이미지 및 연설과 같은 모달리티(Zhan et al., 2024)에 이르기까지 다양합니다. 이러한 데이터는 서로 상호 작용하며 복잡하게 상호 교환, 관련이 없거나 모순되는 관계를 보여줍니다(Guo et al., 2024). 따라서 광범위한 실무 경험에서 강조했듯이 학습 데이터의 혼합 비율을 조정하여 모델 기능의 균형을 맞추고 도메인 간의 시너지를 활용하여 결과 모델의 역량을 향상시킬 필요가 있습니다(Gao et al., 2020; Gururangan et al., 2020; Zhou et al., 2023; Xie et al., 2024).