Large language model (LLM) pre-training has been largely democratized and open-sourced, allowing various academic labs, and industries to pre-train custom LLMs. Yet, a key differentiator between these models is the composition and size of the data used to train them. Data curation strategies are required to filter out scrapes of the web that are unstructured and/or poorly phrased (Eisenstein, 2013). While some of these strategies have been made public (Brown et al., 2020; Wenzek et al., 2020; Penedo et al., 2023), most state-of-the-art data curation techniques are unknown to the research community, and only anecdotal evidence remains. Research on data curation requires multiple rounds of re-training, making it an expensive endeavour to document techniques that lead to practical improvements. On the other hand, scaling laws for language models (such as Chinchilla scaling laws (Hoffmann et al., 2022)) show that with increasing model sizes, we should also increase both the training compute and data size linearly. This is infeasible because (a) high-quality data is limited (Villalobos et al., 2022), and repeating for even a small number of epochs (4 or more) results in diminishing returns or overfitting (Muennighoff et al., 2023; Touvron et al., 2023; Xue et al., 2023); and (b) pre-training for such long durations is prohibitively expensive.
대규모 언어 모델(LLM) 사전 학습은 크게 민주화되고 오픈 소스화되어 다양한 학술 연구소와 산업계에서 맞춤형 LLM을 사전 학습할 수 있게 되었습니다. 그러나 이러한 모델 간의 주요 차별화 요소는 모델을 학습하는 데 사용되는 데이터의 구성과 크기입니다. 데이터 큐레이션 전략은 비정형적이거나 잘못 표현된 웹 스크랩을 걸러내기 위해 필요합니다(Eisenstein, 2013). 이러한 전략 중 일부는 공개되었지만(Brown et al., 2020; Wenzek et al., 2020; Penedo et al., 2023), 대부분의 최신 데이터 큐레이션 기술은 연구 커뮤니티에 알려지지 않았으며 일화적인 증거만 남아 있습니다. 데이터 큐레이션에 대한 연구에는 여러 번의 재학습이 필요하므로 실질적인 개선을 가져오는 기술을 문서화하는 데 많은 비용이 소요됩니다. 반면, 언어 모델의 Scaling laws(예: Chinchilla Scaling laws(Hoffmann et al., 2022))에 따르면 모델 크기가 커지면 학습 컴퓨팅과 데이터 크기도 선형적으로 늘려야 합니다. 그러나 (a) 고품질 데이터는 제한적이며(Villalobos et al., 2022), 적은 수의 에포크(4 이상)를 반복하면 수익 감소 또는 과적합이 발생하기 때문에(Muennighoff et al., 2023; Touvron et al., 2023; Xue et al., 2023) 이는 불가능합니다; 그리고 (b) 그렇게 오랜 기간 동안 사전 학습하는 것은 비용이 너무 많이 듭니다.
대규모 언어 모델(LLM) 사전 학습은 크게 민주화되고 오픈 소스화되어 다양한 학술 연구소와 산업계에서 맞춤형 LLM을 사전 학습할 수 있게 되었습니다. 그러나 이러한 모델 간의 주요 차별화 요소는 모델을 학습하는 데 사용되는 데이터의 구성과 크기입니다. 데이터 큐레이션 전략은 비정형적이거나 잘못 표현된 웹 스크랩을 걸러내기 위해 필요합니다(Eisenstein, 2013). 이러한 전략 중 일부는 공개되었지만(Brown et al., 2020; Wenzek et al., 2020; Penedo et al., 2023), 대부분의 최신 데이터 큐레이션 기술은 연구 커뮤니티에 알려지지 않았으며 일화적인 증거만 남아 있습니다. 데이터 큐레이션에 대한 연구에는 여러 번의 재학습이 필요하므로 실질적인 개선을 가져오는 기술을 문서화하는 데 많은 비용이 소요됩니다. 반면, 언어 모델의 스케일링 법칙(예: 친칠라 스케일링 법칙(Hoffmann et al., 2022))에 따르면 모델 크기가 커지면 학습 컴퓨팅과 데이터 크기도 선형적으로 늘려야 합니다. 그러나 (a) 고품질 데이터는 제한적이며(Villalobos et al., 2022), 적은 수의 에포크(4 이상)를 반복하면 수익 감소 또는 과적합이 발생하기 때문에(Muennighoff et al., 2023; Touvron et al., 2023; Xue et al., 2023) 이는 불가능합니다; 그리고 (b) 그렇게 오랜 기간 동안 사전 학습하는 것은 비용이 너무 많이 듭니다.