In this section, we consider the fixed compute setting, where we curate and train on a fixed token budget by jointly increasing the size of the source dataset \(D_{source}\) and decreasing \(R\) (the fraction of the \(D_{source}\) which is selected), such that the target token budget remains constant. This setting is analogous to the most common paradigm for LLM training. As \(D_{source}\) grows and \(R\) decreases, we select from larger and larger initial datasets, resulting in a larger set of high-quality data points to select from and increasing the overall quality of the selected set. For clarity, we plot performance as a function of the ratio of the \(D_{source}\) to \(D_{target}\). For each setting, we evaluate the performance of a baseline, SemDeDup alone, SSL Prototypes alone, and our proposed method D4.
이 섹션에서는 고정 컴퓨팅 설정을 고려하여 소스 데이터 집합의 크기(\(D_{source}\))를 공동으로 증가시키고 \(R\)(선택된 \(D_{source}\)의 비율)을 감소시켜 대상 토큰 예산이 일정하게 유지되도록 고정된 토큰 예산으로 큐레이션하고 훈련합니다. 이 설정은 Large Language Models (LLMs) 훈련의 가장 일반적인 패러다임과 유사합니다. \(D_{source}\)가 증가하고 \(R\)이 감소함에 따라 더 큰 초기 데이터 세트에서 선택하게 되고, 이로 인해 선택할 수 있는 고품질 데이터 포인트의 집합이 커지고 선택된 집합의 전반적인 품질이 향상됩니다. 명확성을 위해 \(D_{source}\)와 \(D_{target}\)의 비율의 함수로 성능을 플롯합니다. 각 설정에 대해 baseline, SemDeDup 단독, SSL Prototypes 단독 및 제안된 방법 D4의 성능을 평가합니다.
이 섹션에서는 고정 컴퓨팅 설정을 고려하여 소스 데이터 집합의 크기(\(D_{source}\))를 공동으로 증가시키고 \(R\)(선택된 \(D_{source}\)의 비율)을 감소시켜 대상 토큰 예산이 일정하게 유지되도록 고정된 토큰 예산으로 큐레이션하고 훈련합니다. 이 설정은 LLM 훈련의 가장 일반적인 패러다임과 유사합니다. D_{source}\)가 증가하고 \(R\)이 감소함에 따라 더 큰 초기 데이터 세트에서 선택하게 되고, 이로 인해 선택할 수 있는 고품질 데이터 포인트의 집합이 커지고 선택된 집합의 전반적인 품질이 향상됩니다. 명확성을 위해 \(D_{source}\)와 \(D_{target}\)의 비율의 함수로 성능을 플롯합니다. 각 설정에 대해 기준선, SemDeDup 단독, SSL 프로토타입 단독 및 제안된 방법 D4의 성능을 평가합니다.