Figure 3: Comparing new tokens vs. repeated tokens for random data selection and D4 for fixed selection ratio \(R=0.25\) for 1.3B OPT pre-training. Each method chooses 25% of documents from the source dataset \(D_{source}\), and epochs over that subset until the target token budget of 40B is reached. We observe that repeating tokens via D4 outperforms baseline training (random, new tokens).
그림 3: 1.3B OPT pre-training을 위해 무작위 데이터 선택에 대한 새 토큰과 반복 토큰을 비교하고 고정 선택 비율 \(R=0.25\)에 대한 D4를 비교합니다. 각 방법은 소스 데이터 집합 \(D_{source}\)에서 문서의 25%를 선택하고, 대상 토큰 예산인 40B에 도달할 때까지 해당 하위 집합에 대해 epochs를 수행합니다. D4를 통해 토큰을 반복하는 것이 baseline training(무작위, 새 토큰)보다 성능이 뛰어나다는 것을 관찰할 수 있습니다.
그림 3: 1.3B OPT 사전 학습을 위해 무작위 데이터 선택에 대한 새 토큰과 반복 토큰을 비교하고 고정 선택 비율 \(R=0.25\)에 대한 D4를 비교합니다. 각 방법은 소스 데이터 집합 \(D_{source}\)에서 문서의 25%를 선택하고, 대상 토큰 예산인 40B에 도달할 때까지 해당 하위 집합에 대해 에포크를 수행합니다. D4를 통해 토큰을 반복하는 것이 기본 훈련(무작위, 새 토큰)보다 성능이 뛰어나다는 것을 관찰할 수 있습니다.