Pretraining Data OptimizationThe objective of optimizing pre-training corpora is to maximize the performance and efficiency of language model training by improving the quality and scale of the pretrain data mixture. This typically includes data collecting through crawling (Raffel et al., 2020) or synthesis (Polu and Sutskever, 2020; Gunasekar et al., 2023), de-duplication (Lee et al., 2021; Kandpal et al., 2022; Tirumala et al., 2023), filtering and selection (Albalak et al., 2024), as well as data composition (Xie et al., 2024) and curriculum (Chen et al., 2024; MA et al., 2024).
사전 훈련 데이터 최적화 사전 훈련 코퍼스를 최적화하는 목적은 사전 훈련 데이터 혼합의 품질과 규모를 개선하여 언어 모델 훈련의 성능과 효율성을 극대화하는 것입니다. 이는 일반적으로 크롤링(Raffel et al., 2020) 또는 합성(Polu and Sutskever, 2020; Gunasekar et al., 2023)을 통한 데이터 수집, 중복 제거(Lee et al., 2021; Kandpal et al., 2022; Tirumala et al., 2023), 필터링 및 선택(Albalak et al., 2024), 데이터 구성(Xie et al., 2024) 및 커리큘럼(Chen et al., 2024; MA et al., 2024)을 포함합니다.
사전 학습 데이터 최적화사전 학습 말뭉치를 최적화하는 목적은 사전 학습 데이터 혼합의 품질과 규모를 개선하여 언어 모델 학습의 성능과 효율성을 극대화하는 것입니다. 여기에는 일반적으로 크롤링(Raffel et al., 2020) 또는 합성(Polu and Sutskever, 2020; Gunasekar et al., 2023)을 통한 데이터 수집, 중복 제거(Lee et al., 2021; Kandpal et al., 2022; Tirumala et al., 2023), 필터링 및 선택(Albalak et al., 2024), 데이터 구성(Xie et al., 2024) 및 커리큘럼(Chen et al., 2024; MA et al., 2024)이 포함됩니다.