1. Over \(1\%\) of tokens emitted unprompted from a model trained on standard datasets (e.g., C4) are part of a memorized sequence (See SS6.2)--even though the 1.5 billion parameter model is much smaller than the 350GB dataset it was trained on. By deduplicating the training dataset we reduce the rate of emitting memorized training data by a factor of \(10\times\). 2. Train-test overlap is common in nondeduplicated datasets. For example, we find _a 61-word sequence_1 in C4 (Raffel et al., 2020) that is repeated \(61{,}036\) times verbatim in the training dataset and \(61\) times in the validation set (\(0.02\%\) of the samples in each dataset).
1. 표준 데이터 세트(예: C4)로 학습된 모델에서 자발적으로 발행된 토큰의 \(1\%\) 이상이 기억된 시퀀스의 일부입니다(SS6.2 참조) - 15억 개의 파라미터 모델은 학습된 350GB 데이터 세트보다 훨씬 작습니다. 학습 데이터 세트를 deduplicating하면 기억된 학습 데이터가 발행되는 비율이 \(10\times\)로 감소합니다. 2. 비중복 데이터 세트에서는 훈련-테스트 중복이 일반적입니다. 예를 들어, C4(Raffel et al., 2020)에서 61단어 시퀀스_1을 발견했는데, 이 시퀀스는 학습 데이터 세트에서 61,036번, 유효성 검사 세트에서 61번(각 데이터 세트의 샘플 중 0.02\%) 반복적으로 반복됩니다.
1. 표준 데이터 세트(예: C4)로 학습된 모델에서 자발적으로 발행된 토큰의 \(1\%\) 이상이 기억된 시퀀스의 일부입니다(SS6.2 참조) - 15억 개의 파라미터 모델은 학습된 350GB 데이터 세트보다 훨씬 작습니다. 학습 데이터 세트를 중복 제거하면 기억된 학습 데이터가 발행되는 비율이 \(10\배\로 감소합니다. 2. 비중복 데이터 세트에서는 훈련-테스트 중복이 일반적입니다. 예를 들어, C4(Raffel et al., 2020)에서 61단어 시퀀스_1을 발견했는데, 이 시퀀스는 학습 데이터 세트에서 61,036번, 유효성 검사 세트에서 61번(각 데이터 세트의 샘플 중 0.02\%) 반복적으로 반복됩니다.