To test this, we assume a fixed token budget and a fixed data size which matches the token budget. We evaluate training on all the data as well as for two epochs on subsets of the data selected either randomly or using D4. We trained 1.3B parameter OPT models on these configurations and report average perplexity in Table 1. Unsurprisingly, epoching over a randomly selected subset of the data instead of using all the available data once leads to a slight degradation in model perplexity. In contrast, repeating data selected by D4 leads to an improvement in perplexity and downstream accuracy over randomly sampling new tokens. In other words, it is beneficial to select data via D4 and epoch 2 times, instead of doing one-pass learning on all available data. As seen in Figure 3, this finding generally holds across training as well. We refer to Section A.6 for results across model scale and data selection ratio.
이를 테스트하기 위해 token 예산이 고정되어 있고 token 예산과 일치하는 데이터 크기가 고정되어 있다고 가정합니다. 모든 데이터에 대한 훈련과 무작위로 선택되거나 D4를 사용하여 선택된 데이터의 하위 집합에 대한 2개의 epoch에 대해 평가합니다. 이러한 구성에서 1.3B parameter OPT 모델을 훈련하고 표 1에 평균 perplexity를 보고합니다. 예상대로 사용 가능한 데이터를 모두 한 번에 사용하는 대신 무작위로 선택된 데이터 하위 집합에 대해 epoching하면 모델 perplexity가 약간 저하됩니다. 반면, D4에 의해 선택된 데이터를 반복하면 무작위로 새로운 token을 샘플링하는 것보다 perplexity와 downstream 정확도가 향상됩니다. 즉, 사용 가능한 모든 데이터에 대해 한 번 학습하는 대신 D4를 통해 데이터를 선택하고 2번 학습하는 것이 유리합니다. 그림 3에서 볼 수 있듯이 이러한 결과는 훈련 전반에 걸쳐 일반적으로 유지됩니다. 모델 규모와 데이터 선택 비율에 따른 결과는 섹션 A.6을 참조하세요.
이를 테스트하기 위해 토큰 예산이 고정되어 있고 토큰 예산과 일치하는 데이터 크기가 고정되어 있다고 가정합니다. 모든 데이터에 대한 훈련과 무작위로 선택되거나 D4를 사용하여 선택된 데이터의 하위 집합에 대한 2개의 에포크에 대해 평가합니다. 이러한 구성에서 13억 개의 파라미터 OPT 모델을 훈련하고 표 1에 평균 난해도를 보고합니다. 예상대로 사용 가능한 데이터를 모두 한 번에 사용하는 대신 무작위로 선택된 데이터 하위 집합에 대해 에포킹하면 모델 난해도가 약간 저하됩니다. 반면, D4에 의해 선택된 데이터를 반복하면 무작위로 새로운 토큰을 샘플링하는 것보다 난해도와 다운스트림 정확도가 향상됩니다. 즉, 사용 가능한 모든 데이터에 대해 한 번 학습하는 대신 D4를 통해 데이터를 선택하고 2번 학습하는 것이 유리합니다. 그림 3에서 볼 수 있듯이 이러한 결과는 훈련 전반에 걸쳐 일반적으로 유지됩니다. 모델 규모와 데이터 선택 비율에 따른 결과는 섹션 A.6을 참조하세요.