We note that since our dataset is curated from CommonCrawl dumps, there is risk that our training set contains offensive or PII content. We note, however, that this risk is no more than that of standard language modeling curation such as Touvron et al. [50], since we use the same pipeline to filter CommonCrawl dumps.
데이터 세트가 CommonCrawl 덤프에서 큐레이션되었기 때문에 학습 세트에 불쾌감을 주거나 개인정보를 포함할 수 있는 위험이 있다는 점에 유의합니다. 그러나 이러한 위험은 Touvron 등의 표준 language modeling 큐레이션보다 더 크지 않다는 점에 유의합니다. [50]와 동일한 파이프라인을 사용하여 CommonCrawl 덤프를 필터링하기 때문입니다.
데이터 세트가 CommonCrawl 덤프에서 큐레이션되었기 때문에 학습 세트에 불쾌감을 주거나 개인정보를 포함할 수 있는 위험이 있다는 점에 유의합니다. 그러나 이러한 위험은 Touvron 등의 표준 언어 모델링 큐레이션보다 더 크지 않다는 점에 유의합니다. [50]와 동일한 파이프라인을 사용하여 CommonCrawl 덤프를 필터링하기 때문입니다.