A key factor behind the recent progress in natural language processing is the development of large-scale text corpora used to train increasingly large language models. These datasets have grown from single gigabytes to as much as a terabyte over the past few years (Chelba et al., 2013; Xue et al., 2020; Graff et al., 2003; Brown et al., 2020). Because it is so expensive to perform manual review and curation on massive datasets, they tend to suffer in quality compared to their smaller predecessors. This has implications far beyond metrics like perplexity and validation loss, as learned models reflect the biases present in their training data (Bender et al., 2021; Wallace et al., 2019; Sheng et al., 2020). Quantitatively and qualitatively understanding these datasets is therefore a research challenge in its own right (Dodge et al., 2021).
최근 자연어 처리 분야의 발전의 핵심 요인 중 하나는 점점 더 큰 Large Language Models (LLMs)를 훈련하는 데 사용되는 대규모 텍스트 코퍼라의 개발입니다. 이러한 데이터 세트는 지난 몇 년 동안 단일 기가바이트에서 최대 1테라바이트까지 성장했습니다(Chelba et al., 2013; Xue et al., 2020; Graff et al., 2003; Brown et al., 2020). 대규모 데이터 세트는 수작업으로 검토하고 큐레이션하는 데 많은 비용이 들기 때문에 이전의 작은 데이터 세트에 비해 품질이 떨어지는 경향이 있습니다. 이는 학습된 모델이 학습 데이터에 존재하는 편견을 반영하기 때문에 Perplexity 및 validation loss와 같은 지표를 훨씬 뛰어넘는 의미를 갖습니다(Bender et al., 2021; Wallace et al., 2019; Sheng et al., 2020). 따라서 이러한 데이터 세트를 정량적, 정성적으로 이해하는 것은 그 자체로 연구 과제입니다(Dodge et al., 2021).
최근 자연어 처리 분야의 발전의 핵심 요인 중 하나는 점점 더 큰 언어 모델을 훈련하는 데 사용되는 대규모 텍스트 코퍼라의 개발입니다. 이러한 데이터 세트는 지난 몇 년 동안 단일 기가바이트에서 최대 1테라바이트까지 성장했습니다(Chelba et al., 2013; Xue et al., 2020; Graff et al., 2003; Brown et al., 2020). 대규모 데이터 세트는 수작업으로 검토하고 큐레이션하는 데 많은 비용이 들기 때문에 이전의 작은 데이터 세트에 비해 품질이 떨어지는 경향이 있습니다. 이는 학습된 모델이 학습 데이터에 존재하는 편견을 반영하기 때문에 당혹감 및 유효성 검사 손실과 같은 지표를 훨씬 뛰어넘는 의미를 갖습니다(Bender et al., 2021; Wallace et al., 2019; Sheng et al., 2020). 따라서 이러한 데이터 세트를 정량적, 정성적으로 이해하는 것은 그 자체로 연구 과제입니다(Dodge et al., 2021).