The focus of this paper is on the datasets used to train language models. While recent work focused on documenting the potential harms that could arise from problematic datasets (Bender and Friedman, 2018; Gebru et al., 2020), less work has been done to quantitatively analyze properties of real language modelling datasets, like Dodge et al. (2021) has done for C4. Our paper provides analysis on one particular axis, that of data duplication.
이 논문의 초점은 언어 모델을 훈련시키는 데 사용된 데이터셋에 있습니다. 최근 연구들은 문제 있는 데이터셋에서 발생할 수 있는 잠재적 해악을 문서화하는 데 중점을 두었지만 (Bender and Friedman, 2018; Gebru et al., 2020), 실제 언어 모델링 데이터셋의 특성을 정량적으로 분석하는 작업은 상대적으로 적었습니다. Dodge et al. (2021)이 C4에 대해 수행한 것처럼 말입니다. 본 논문은 데이터 중복이라는 특정 축에 대한 분석을 제공합니다.
이 백서의 초점은 언어 모델을 훈련하는 데 사용되는 데이터 세트에 있습니다. 최근 연구에서는 문제가 있는 데이터 세트에서 발생할 수 있는 잠재적 위험을 문서화하는 데 중점을 두었습니다(Bender and Friedman, 2018; Gebru et al., 2020), Dodge et al. (2021)이 C4에 대해 수행한 것과 같이 실제 언어 모델링 데이터 세트의 속성을 정량적으로 분석하는 연구는 많지 않았습니다. 이 백서에서는 데이터 중복이라는 특정 축에 대한 분석을 제공합니다.