natural limit to the size of the source dataset. What happens when we run out of data? Hernandez et al. [19] found and analyzed disproportionately adverse effects of repeated data points in the training data. Similarly, concurrently to our work Muennighoff et al. [37] shows that test loss deteriorates when epoching over a random subset of C4 more than four times. In this section, we investigate how the use of D4 affects model performance in this limited data, multi-epoch setting.
소스 데이터 세트의 크기에 자연적인 한계가 있습니다. 데이터가 부족하면 어떻게 되나요? Hernandez 등[19]은 훈련 데이터에서 반복되는 데이터 포인트의 불균형한 부작용을 발견하고 분석했습니다. 마찬가지로, 우리의 작업과 동시에 Muennighoff 등[37]은 C4의 무작위 하위 집합을 4회 이상 epoching할 때 test loss가 악화되는 것을 보여줍니다. 이 섹션에서는 이러한 제한된 데이터, multi-epoch 설정에서 D4 사용이 모델 성능에 어떤 영향을 미치는지 조사합니다.
소스 데이터 세트의 크기에 자연적인 한계가 있습니다. 데이터가 부족하면 어떻게 되나요? Hernandez 등[19]은 훈련 데이터에서 반복되는 데이터 포인트의 불균형한 부작용을 발견하고 분석했습니다. 마찬가지로, 우리의 작업과 동시에 Muennighoff 등[37]은 C4의 무작위 하위 집합을 4회 이상 이포칭할 때 테스트 손실이 악화되는 것을 보여줍니다. 이 섹션에서는 이러한 제한된 데이터, 다중 에포크 설정에서 D4 사용이 모델 성능에 어떤 영향을 미치는지 조사합니다.