Curating pretraining data for LLMs.Training massive transformer architecture on trillions of tokens, a.k.a. pretraining, is the primary step to building modern large language models that exhibit impressive human-like generalisation abilities (Brown et al., 2020; OpenAI, 2023; Jiang et al., 2023; Touvron et al., 2023b)). It takes up most of the computation resources for model training and researchers believe it endows almost all the knowledge in LLMs (Zhou et al., 2024). Such critical impact motivates the development of data curating strategies to reduce computation costs and enhance knowledge (Longpre et al., 2023). The efforts can be categorized into two steps. The first step focuses on obtaining a high-quality training dataset. A typical procedure includes selecting data sources to constitute different domains, deduplication, and the most intricate filtering (Wenzek et al., 2019; Penedo et al., 2023). A mass of endeavors in existing practice has involved multifarious filters, scoring the documents with from superficial features on characters (Rae et al., 2021; Xie et al., 2024; Raffel et al., 2020) to semantics including similarity to the high-quality reference corpus (Wenzek et al., 2019) and toxicity (Longpre et al., 2023; Friedl, 2023). With a dataset on hold, the second step aims to make the best use of it. This includes tuning the data mixture (Du et al., 2022; Touvron et al., 2023; Xie et al., 2024) and devising data schedules (Mindermann et al., 2022; Albalak et al., 2023; Chen et al., 2024; Fan et al., 2024). Our work is among those tune data mixtures and our extension to continue pretraining signifies our prospect of guiding the schedule design. Different from existing attempts that rely on intuition or qualitative targets, our study seeks a quantitative solution.
LLM용 사전 학습 데이터 큐레이팅. 수조 개의 토큰, 즉 pretraining에 대한 대규모 Transformer 아키텍처를 학습하는 것은 인상적인 인간과 유사한 일반화 능력을 보여주는 최신 Large Language Models (LLMs)을 구축하는 주요 단계입니다(Brown et al., 2020; OpenAI, 2023; Jiang et al., 2023; Touvron et al., 2023b)). 이는 모델 학습을 위한 대부분의 계산 리소스를 차지하며, 연구자들은 이를 통해 LLM의 거의 모든 지식을 습득할 수 있다고 믿습니다(Zhou et al., 2024). 이러한 중요한 영향은 계산 비용을 줄이고 지식을 향상시키기 위한 데이터 큐레이션 전략의 개발에 동기를 부여합니다(Longpre et al., 2023). 이러한 노력은 두 단계로 분류할 수 있습니다. 첫 번째 단계는 고품질 학습 데이터 세트를 확보하는 데 중점을 둡니다. 일반적인 절차에는 다양한 도메인을 구성하기 위한 데이터 소스 선택, 중복 제거, 가장 복잡한 필터링(Wenzek et al., 2019; Penedo et al., 2023)이 포함됩니다. 기존 실무에서 다양한 필터를 통해 문자(Rae et al., 2021; Xie et al., 2024; Raffel et al., 2020)에 대한 피상적인 특징부터 고품질 참조 코퍼스(Wenzek et al., 2019) 및 독성(Longpre et al., 2023; Friedl, 2023)을 포함한 의미론에 이르기까지 문서에 점수를 부여하는 등 다양한 노력이 진행되어 왔습니다. 데이터 세트가 준비되면 두 번째 단계에서는 이를 최대한 활용하는 것을 목표로 합니다. 여기에는 데이터 혼합(Du et al., 2022; Touvron et al., 2023; Xie et al., 2024)을 조정하고 데이터 일정(Mindermann et al., 2022; Albalak et al., 2023; Chen et al., 2024; Fan et al., 2024)을 고안하는 것이 포함됩니다. 저희의 연구는 데이터 혼합을 조정하는 것 중 하나이며, pretraining을 계속하는 저희의 확장은 일정 설계에 대한 저희의 전망을 의미합니다. 직관이나 정성적인 목표에 의존하는 기존의 시도와 달리, 저희 연구는 정량적인 솔루션을 추구합니다.
LLM용 사전 학습 데이터 큐레이팅.수조 개의 토큰, 즉 사전 학습에 대한 대규모 트랜스포머 아키텍처를 학습하는 것은 인상적인 인간과 유사한 일반화 능력을 보여주는 최신 대규모 언어 모델을 구축하는 주요 단계입니다(Brown et al., 2020; OpenAI, 2023; Jiang et al., 2023; Touvron et al., 2023b)). 이는 모델 학습을 위한 대부분의 계산 리소스를 차지하며, 연구자들은 이를 통해 LLM의 거의 모든 지식을 습득할 수 있다고 믿습니다(Zhou et al., 2024). 이러한 중요한 영향은 계산 비용을 줄이고 지식을 향상시키기 위한 데이터 큐레이션 전략의 개발에 동기를 부여합니다(Longpre et al., 2023). 이러한 노력은 두 단계로 분류할 수 있습니다. 첫 번째 단계는 고품질 학습 데이터 세트를 확보하는 데 중점을 둡니다. 일반적인 절차에는 다양한 도메인을 구성하기 위한 데이터 소스 선택, 중복 제거, 가장 복잡한 필터링(Wenzek et al., 2019; Penedo et al., 2023)이 포함됩니다. 기존 실무에서 다양한 필터를 통해 문자(Rae et al., 2021; Xie et al., 2024; Raffel et al., 2020)에 대한 피상적인 특징부터 고품질 참조 코퍼스(Wenzek et al., 2019) 및 독성(Longpre et al., 2023; Friedl, 2023)을 포함한 의미론에 이르기까지 문서에 점수를 부여하는 등 다양한 노력이 진행되어 왔습니다. 데이터 세트가 준비되면 두 번째 단계에서는 이를 최대한 활용하는 것을 목표로 합니다. 여기에는 데이터 혼합(Du et al., 2022; Touvron et al., 2023; Xie et al., 2024)을 조정하고 데이터 일정(Mindermann et al., 2022; Albalak et al., 2023; Chen et al., 2024; Fan et al., 2024)을 고안하는 것이 포함됩니다. 저희의 연구는 데이터 혼합을 조정하는 것 중 하나이며, 사전 학습을 계속하는 저희의 확장은 일정 설계에 대한 저희의 전망을 의미합니다. 직관이나 정성적인 목표에 의존하는 기존의 시도와 달리, 저희 연구는 정량적인 솔루션을 추구합니다.