Despite the essential role that large-scale web data now play in LM pre-training, data curation and selection for large-scale web data have not been thoroughly explored. This is primarily due to the universality of compute and data scaling laws [20; 25] which give practitioners a low-risk way to reliably improve LM performance by merely adding "more" data, not necessarily the "right" data. Indeed, the data selection method used to model scaling laws (along with the data selection methods used in most LLM pre-training pipelines) involves simply randomly sampling tokens from web data dumps that have been put through a combination of simple heuristic filtering (e.g., to eliminate very short strings) and very near match de-duplication [27].
대규모 웹 데이터가 현재 LM 사전 학습에서 필수적인 역할을 하고 있음에도 불구하고 대규모 웹 데이터에 대한 데이터 큐레이션 및 선택은 철저히 탐구되지 않았습니다. 이는 주로 컴퓨팅 및 데이터 scaling laws의 보편성[20; 25] 때문인데, 이 법칙은 실무자들이 반드시 '올바른' 데이터가 아니라 '더 많은' 데이터를 추가하는 것만으로도 LM 성능을 안정적으로 개선할 수 있는 저위험한 방법을 제공합니다. 실제로 scaling laws를 모델링하는 데 사용되는 데이터 선택 방법(대부분의 LLM 사전 학습 파이프라인에서 사용되는 데이터 선택 방법과 마찬가지로)은 단순한 heuristic filtering(예: 매우 짧은 문자열 제거)과 매우 근접한 일치 중복 제거[27]의 조합을 거친 웹 데이터 덤프에서 토큰을 무작위로 샘플링하는 것과 관련이 있습니다.
대규모 웹 데이터가 현재 LM 사전 학습에서 필수적인 역할을 하고 있음에도 불구하고 대규모 웹 데이터에 대한 데이터 큐레이션 및 선택은 철저히 탐구되지 않았습니다. 이는 주로 컴퓨팅 및 데이터 확장 법칙의 보편성[20; 25] 때문인데, 이 법칙은 실무자들이 반드시 '올바른' 데이터가 아니라 '더 많은' 데이터를 추가하는 것만으로도 LM 성능을 안정적으로 개선할 수 있는 저위험한 방법을 제공합니다. 실제로 스케일링 법칙을 모델링하는 데 사용되는 데이터 선택 방법(대부분의 LLM 사전 학습 파이프라인에서 사용되는 데이터 선택 방법과 마찬가지로)은 단순한 휴리스틱 필터링(예: 매우 짧은 문자열 제거)과 매우 근접한 일치 중복 제거[27]의 조합을 거친 웹 데이터 덤프에서 토큰을 무작위로 샘플링하는 것과 관련이 있습니다.