This train-test set overlap not only causes researchers to over-estimate model accuracy, but also biases model selection towards models and hyperparameters that intentionally overfit their training datasets. 3. Training models on deduplicated datasets is more efficient. Processing a dataset with our framework requires a CPU-only linear-time algorithm. And so because these datasets are up to \(19\%\) smaller, even including the deduplication runtime itself, training on deduplicated datasets directly reduces the training cost in terms of time, dollar, and the environment (Bender et al., 2021; Strubell et al., 2019; Patterson et al., 2021). 4. Deduplicating training data does not hurt perplexity: models trained on deduplicated datasets have no worse perplexity compared to baseline models trained on the original datasets. In some cases deduplication reduces perplexity by up to \(10\%\). Further, because recent LMs are typically limited to training for just a few epochs (Radford et al., 2019; Raffel et al., 2020), by training on higher quality data the models can reach higher accuracy faster.
이러한 train-test 세트의 중복은 연구자들이 모델 정확도를 과대평가하게 할 뿐만 아니라 모델과 하이퍼파라미터를 의도적으로 훈련 데이터 세트에 과적합시키는 모델 선택으로 편향됩니다. 3. 중복된 데이터 세트에 대해 모델을 훈련하는 것이 더 효율적입니다. 프레임워크를 사용하여 데이터 세트를 처리하려면 CPU만 있는 선형 시간 알고리즘이 필요합니다. 따라서 이러한 데이터 세트의 크기가 최대 19% 더 작기 때문에 중복 제거 런타임 자체를 포함하더라도 중복 제거된 데이터 세트에 대한 훈련은 시간, 달러, 환경 측면에서 훈련 비용을 직접적으로 줄여줍니다(Bender et al., 2021; Strubell et al., 2019; Patterson et al., 2021). 4. 훈련 데이터를 중복 제거해도 perplexity에 영향을 미치지 않습니다: 중복 제거된 데이터 세트에서 훈련된 모델은 원래 데이터 세트에서 훈련된 baseline 모델에 비해 perplexity가 더 나쁘지 않습니다. 경우에 따라 중복 제거를 통해 perplexity를 최대 10%까지 줄일 수 있습니다. 또한 최신 LMs은 일반적으로 몇 번의 epoch에만 훈련이 제한되기 때문에(Radford et al., 2019; Raffel et al., 2020), 더 높은 품질의 데이터에 대해 훈련하면 모델이 더 빠르게 더 높은 정확도에 도달할 수 있습니다.
이러한 훈련-테스트 세트의 중복은 연구자들이 모델 정확도를 과대평가하게 할 뿐만 아니라 모델과 하이퍼파라미터를 의도적으로 훈련 데이터 세트에 과적합시키는 모델 선택으로 편향됩니다. 3. 중복된 데이터 세트에 대해 모델을 훈련하는 것이 더 효율적입니다. 프레임워크를 사용하여 데이터 세트를 처리하려면 CPU만 있는 선형 시간 알고리즘이 필요합니다. 따라서 이러한 데이터 세트의 크기가 최대 \(19\%\) 더 작기 때문에 중복 제거 런타임 자체를 포함하더라도 중복 제거된 데이터 세트에 대한 훈련은 시간, 달러, 환경 측면에서 훈련 비용을 직접적으로 줄여줍니다(Bender et al., 2021; Strubell et al., 2019; Patterson et al., 2021). 4. 훈련 데이터를 중복 제거해도 당황스러움에 영향을 미치지 않습니다: 중복 제거된 데이터 세트에서 훈련된 모델은 원래 데이터 세트에서 훈련된 기준 모델에 비해 당황스러움이 더 나쁘지 않습니다. 경우에 따라 중복 제거를 통해 당황스러움을 최대 \(10\%\)까지 줄일 수 있습니다. 또한 최신 LM은 일반적으로 몇 번의 에포크에만 훈련이 제한되기 때문에(Radford et al., 2019; Raffel et al., 2020), 더 높은 품질의 데이터에 대해 훈련하면 모델이 더 빠르게 더 높은 정확도에 도달할 수 있습니다.