NotationGiven a source dataset, \(D_{source}\), of documents (crawled web pages) and model architecture, \(M\), we aim to find a strategy \(S\) for selecting a subset of these documents that maximizes some evaluation metric \(E(M(D_{S,R}))\). \(R\) indicates the proportion of remaining documents from the source dataset \(D_{source}\) after selecting data with strategy \(S\). For this reason, we refer to \(R\) throughout this work as the _selection ratio_: for example, if \(R=0.25\) and \(|D_{source}|=100\) million, then we _select_ 25% of documents from a source dataset of size \(100\)M documents to arrive at a a training dataset with \(25\)M documents. We operate at the granularity of a single document, independently of how the model trainer would pack these documents into batches later. Throughout the paper, we use random selection as the baseline for \(S\), as it is the most common method for selecting data for language model pre-training. In the rest of this section, we describe our choices of source dataset (\(D_{source}\)), model (\(M\)), evaluation metric (\(E\)), and, most importantly, our suggestions for the selection strategy (\(S\)).
표기법문서(크롤링된 웹 페이지)의 소스 데이터 집합 \(D_{source}\), 모델 아키텍처 \(M\)이 주어졌을 때, 이러한 문서의 하위 집합을 선택하여 평가 메트릭 \(E(M(D_{S,R}))\)을 최대화하는 전략 \(S\)를 찾는 것을 목표로 합니다. \(R\)은 전략 \(S\)로 데이터를 선택한 후 소스 데이터 집합 \(D_{source}\)에서 나머지 문서의 비율을 나타냅니다. 이러한 이유로 이 작업에서는 \(R\)을 _selection ratio_라고 부릅니다. 예를 들어, \(R=0.25\)이고 \(|D_{source}|=100\)백만인 경우, 100M 문서 크기의 소스 데이터 집합에서 문서의 25%를 _선택_하여 25M 문서로 구성된 학습 데이터 집합에 도달합니다. 저희는 이러한 문서를 나중에 모델 트레이너가 배치로 묶는 방식에 관계없이 단일 문서의 세부 단위로 작업합니다. 이 논문에서는 언어 모델 사전 학습을 위해 데이터를 선택하는 가장 일반적인 방법인 무작위 선택을 \(S\)의 baseline으로 사용합니다. 이 섹션의 나머지 부분에서는 소스 데이터 집합(\(D_{source}\)), 모델(\(M\)), 평가 지표(\(E\)), 그리고 가장 중요한 선택 전략(\(S\))에 대한 제안을 설명합니다.
표기법문서(크롤링된 웹 페이지)의 소스 데이터 집합 \(D_{source}\), 모델 아키텍처 \(M\)이 주어졌을 때, 이러한 문서의 하위 집합을 선택하여 평가 메트릭 \(E(M(D_{S,R}))\)을 최대화하는 전략 \(S\)를 찾는 것을 목표로 합니다. R\)은 전략 \(S\)로 데이터를 선택한 후 소스 데이터 집합 \(D_{source}\)에서 나머지 문서의 비율을 나타냅니다. 이러한 이유로 이 작업에서는 \(R\)을 _선택 비율_이라고 부릅니다. 예를 들어, \(R=0.25\)이고 \(|D_{source}|=100\)백만인 경우, 100\)M 문서 크기의 소스 데이터 집합에서 문서의 25%를 _선택_하여 25\)M 문서로 구성된 학습 데이터 집합에 도달합니다. 저희는 이러한 문서를 나중에 모델 트레이너가 배치로 묶는 방식에 관계없이 단일 문서의 세부 단위로 작업합니다. 이 논문에서는 언어 모델 사전 학습을 위해 데이터를 선택하는 가장 일반적인 방법인 무작위 선택을 \(S\)의 기준으로 사용합니다. 이 섹션의 나머지 부분에서는 소스 데이터 집합(\(D_{source}\)), 모델(\(M\)), 평가 지표(\(E\)), 그리고 가장 중요한 선택 전략(\(S\))에 대한 제안을 설명합니다.