Pipelines for web data.Massive web datasets are typically built upon CommonCrawl, a publicly available scrape of the internet, which has now been running for 12 years and has collected petabytes of data. Working with data scraped from all over the internet presents unique challenges: notably, a significant portion is low-quality machine-generated spam or pornographic content (Trinh and Le, 2018; Kreutzer et al., 2022). Accordingly, training on unfiltered web data is undesirable, resulting in poorly performing models (Raffel et al., 2020). Modern pipelines focus on filtering out this undesirable content (Wenzek et al., 2020). Broadly speaking, these pipelines usually combine a variety of stages: (1) _language identification_, leveraging inexpensive n-gram models (e.g., fastText Joulin et al. (2016)); (2) _filtering rules and heuristics_, such as only keeping lines with valid punctuation, discarding lines with too many symbols, or removing documents containing banned words (Grave et al., 2018; Raffel et al., 2020); (3) _ML-based quality filtering_, using lightweight models trained on known gold data to identify similar high-quality web documents (Wenzek et al., 2020; Brown et al., 2020); (4) _deduplication_, removing either exact duplicate spans or similar documents (Lee et al., 2022). While some filtering is necessary, excessive filtering can introduce undesirable biases in the model. This can overly impact minorities (Dodge et al., 2021), motivating the adoption of practices such as pseudo-crawling, wherein allowed URLs are manually curated (Laurencon et al., 2022).
웹 데이터를 위한 파이프라인. 대규모 웹 데이터 세트는 일반적으로 12년 동안 실행되어 페타바이트의 데이터를 수집한 공개적으로 사용 가능한 인터넷 스크랩인 CommonCrawl을 기반으로 구축됩니다. 인터넷 전체에서 스크랩한 데이터로 작업하는 것은 고유한 과제를 안고 있습니다. 특히 상당 부분이 기계에서 생성한 스팸이나 음란 콘텐츠(Trinh and Le, 2018; Kreutzer et al., 2022)라는 점이 주목할 만합니다. 따라서 필터링되지 않은 웹 데이터로 학습하는 것은 바람직하지 않으며, 결과적으로 성능이 저하되는 모델이 만들어집니다(Raffel et al., 2020). 최신 파이프라인은 이러한 바람직하지 않은 콘텐츠를 필터링하는 데 중점을 둡니다(Wenzek et al., 2020). 넓게는 이러한 파이프라인은 일반적으로 다양한 단계를 결합합니다: (1) _language identification_, 저렴한 n-그램 모델(예: fastText Joulin et al. (2016))을 활용하는 것; (2) _filtering rules and heuristics_, 예를 들어 올바른 구두점이 있는 줄만 유지하거나, 기호가 너무 많은 줄은 삭제하거나, 금지 단어가 포함된 문서를 제거하는 것(Grave et al., 2018; Raffel et al., 2020); (3) _ML-based quality filtering_, 알려진 골드 데이터로 학습된 경량 모델을 사용하여 유사한 고품질 웹 문서를 식별합니다(Wenzek et al., 2020; Brown et al., 2020); (4) _deduplication_, 정확한 중복 범위 또는 유사한 문서 제거(Lee et al., 2022). 일부 필터링은 필요하지만 과도한 필터링은 모델에 바람직하지 않은 편향성을 유입할 수 있습니다. 이는 소수자에게 지나치게 영향을 미칠 수 있으며(Dodge et al., 2021), 허용된 URL을 수동으로 큐레이션하는 pseudo-crawling과 같은 관행을 채택하도록 동기를 부여합니다(Laurencon et al., 2022).
웹 데이터를 위한 파이프라인.대규모 웹 데이터 세트는 일반적으로 12년 동안 실행되어 페타바이트의 데이터를 수집한 공개적으로 사용 가능한 인터넷 스크랩인 CommonCrawl을 기반으로 구축됩니다. 인터넷 전체에서 스크랩한 데이터로 작업하는 것은 고유한 과제를 안고 있습니다. 특히 상당 부분이 기계에서 생성한 스팸이나 음란 콘텐츠(Trinh and Le, 2018; Kreutzer et al., 2022)라는 점이 주목할 만합니다. 따라서 필터링되지 않은 웹 데이터로 학습하는 것은 바람직하지 않으며, 결과적으로 성능이 저하되는 모델이 만들어집니다(Raffel et al., 2020). 최신 파이프라인은 이러한 바람직하지 않은 콘텐츠를 필터링하는 데 중점을 둡니다(Wenzek et al., 2020). 넓게는 이러한 파이프라인은 일반적으로 다양한 단계를 결합합니다: (1) _언어 식별_, 저렴한 n-그램 모델(예: fastText Joulin et al. (2016))을 활용하는 것; (2) _필터링 규칙 및 휴리스틱_, 예를 들어 올바른 구두점이 있는 줄만 유지하거나, 기호가 너무 많은 줄은 삭제하거나, 금지 단어가 포함된 문서를 제거하는 것(Grave et al., 2018; Raffel et al., 2020); (3) _ML 기반 품질 필터링_, 알려진 골드 데이터로 학습된 경량 모델을 사용하여 유사한 고품질 웹 문서를 식별합니다(Wenzek et al., 2020; Brown et al., 2020); (4) _중복 제거_, 정확한 중복 범위 또는 유사한 문서 제거(Lee et al., 2022). 일부 필터링은 필요하지만 과도한 필터링은 모델에 바람직하지 않은 편향성을 유입할 수 있습니다. 이는 소수자에게 지나치게 영향을 미칠 수 있으며(Dodge et al., 2021), 허용된 URL을 수동으로 큐레이션하는 의사 크롤링과 같은 관행을 채택하도록 동기를 부여합니다(Laurencon et al., 2022).