Earlier in this work, we outlined that to scale pretraining data, practitioners had two choices: (1) improve data collection, which is the avenue we chose to pursue; (2) train models on multiple epochs of the same data. Due to current uncertainties in the ability of larger models to sustain multiple epochs without adverse effects (Hernandez et al., 2022), we focused on (1). A fairly rational question regarding (2) is whether deduplication may improve the situation, and whether deduplicated data may be able to sustain more epochs without compromising model quality.
앞서 이 작업에서는 사전 학습 데이터를 확장하기 위해 실무자가 선택할 수 있는 두 가지 방법이 있다고 설명했습니다: (1) 데이터 수집을 개선하는 방법과 (2) 동일한 데이터의 여러 epochs에 걸쳐 모델을 훈련하는 방법입니다. 더 큰 모델이 여러 epochs를 악영향 없이 유지할 수 있는 능력에 대한 현재의 불확실성(Hernandez et al., 2022)으로 인해 저희는 (1)에 집중했습니다. (2)에 관한 상당히 합리적인 질문은 deduplication이 상황을 개선할 수 있는지, deduplicated 데이터가 모델 품질을 저하시키지 않고 더 많은 epochs를 유지할 수 있는지 여부입니다.
앞서 이 작업에서는 사전 학습 데이터를 확장하기 위해 실무자가 선택할 수 있는 두 가지 방법이 있다고 설명했습니다: (1) 데이터 수집을 개선하는 방법과 (2) 동일한 데이터의 여러 에포크에 걸쳐 모델을 훈련하는 방법입니다. 더 큰 모델이 여러 에포크를 악영향 없이 유지할 수 있는 능력에 대한 현재의 불확실성(Hernandez et al., 2022)으로 인해 저희는 (1)에 집중했습니다. (2)에 관한 상당히 합리적인 질문은 중복 제거가 상황을 개선할 수 있는지, 중복 제거된 데이터가 모델 품질을 저하시키지 않고 더 많은 에포크를 유지할 수 있는지 여부입니다.