The developers of large language models typically attempt to create training data that reflects natural human communication, but current methods to collect and curate such datasets are fallible. There are multiple reasons some text ends up over-represented. For example, bot replies, auto-generated templates, and licenses are repeated for structural (e.g., legal, economical) reasons (as was also observed by Dodge et al. (2021)). Additionally, common techniques for acquiring and "cleaning" data can result in an over-representation of particular subsets of world users, often those who are English-speaking and publishing in established forums. This effectively under-represents non-English speakers as well as groups whose communication mostly occurs outside of the public web. In this paper, we focus on the problem of over-representation of some types of text (structural duplicates) but do not address the problem of under-representation of others.
대형 언어 모델의 개발자들은 일반적으로 자연스러운 인간의 의사소통을 반영하는 훈련 데이터를 생성하려고 시도하지만, 이러한 데이터셋을 수집하고 큐레이션하는 현재의 방법들은 오류가 있을 수 있습니다. 일부 텍스트가 과도하게 대표되는 데에는 여러 가지 이유가 있습니다. 예를 들어, 봇의 응답, 자동 생성된 템플릿, 그리고 라이선스는 구조적(예: 법적, 경제적) 이유로 반복됩니다(Dodge et al. (2021)에서도 관찰된 바와 같이). 또한, 데이터를 획득하고 "정리"하는 일반적인 기술들은 세계 사용자 중 특정 하위 집합, 주로 영어를 사용하는 사람들과 기존 포럼에 게시하는 사람들의 과도한 대표를 초래할 수 있습니다. 이는 효과적으로 비영어 사용자를 비롯해 주로 공공 웹 외부에서 의사소통하는 그룹들을 과소 대표하게 만듭니다. 이 논문에서는 특정 유형의 텍스트(구조적 중복)의 과도한 대표 문제에 초점을 맞추지만, 다른 유형의 과소 대표 문제는 다루지 않습니다.
대규모 언어 모델 개발자는 일반적으로 자연스러운 인간의 의사소통을 반영하는 훈련 데이터를 만들려고 노력하지만, 이러한 데이터 세트를 수집하고 큐레이션하는 현재의 방법은 결함이 있습니다. 일부 텍스트가 과대 표현되는 데에는 여러 가지 이유가 있습니다. 예를 들어, 봇 응답, 자동 생성된 템플릿, 라이선스는 구조적(예: 법적, 경제적) 이유로 반복됩니다(Dodge 외(2021)에서도 관찰됨). 또한 데이터를 수집하고 "정리"하는 일반적인 기술은 특정 하위 집합의 사용자, 주로 영어를 사용하고 기존 포럼에 게시하는 사용자의 과대 표현을 초래할 수 있습니다. 이는 비영어 사용자는 물론 대부분 공개 웹 외부에서 커뮤니케이션이 이루어지는 그룹을 효과적으로 과소 대표합니다. 이 백서에서는 일부 유형의 텍스트(구조적 중복)가 과대 표현되는 문제에 초점을 맞추고 있지만, 다른 유형의 텍스트가 과소 표현되는 문제는 다루지 않습니다.