We computed the perplexity of our trained models on the validation sets of LM1B and Wiki-40B, and on subsets of the C4 validation set (Figure 2). For the base size, we observe that all models have similar perplexity on the original C4 validation set and on validation set examples that were identified as unique (no near-duplicate in either train or validation). However, both models trained on deduplicated data have significantly higher perplexity on validation set examples that have duplicates in the training set than the model trained on the original C4. ExactSubstr-deduplicated results in higher perplexity than NearDup-deduplicated. These trends holds true for the XL sized model as well. While this may suggest ExactSubstr duplication results in models least overfit on the train set, note that both of these techniques have used separate duplicate thresholds and a different choice of thresholds could change the results.
LM1B 및 Wiki-40B의 유효성 검사 세트와 C4 유효성 검사 세트의 하위 집합에 대해 학습된 모델의 Perplexity를 계산했습니다(그림 2). 기본 크기의 경우, 모든 모델이 원래 C4 유효성 검사 세트와 고유한 것으로 식별된 유효성 검사 세트 예제(훈련 또는 유효성 검사 세트에서 근접 중복이 없는 경우)에서 유사한 Perplexity를 가지고 있음을 관찰할 수 있습니다. 그러나 중복 제거된 데이터로 훈련된 두 모델 모두 원래 C4로 훈련된 모델보다 훈련 세트에 중복이 있는 유효성 검사 세트 예제에서 훨씬 더 높은 Perplexity를 보입니다. ExactSubstr-중복 제거는 NearDup-중복 제거보다 더 높은 Perplexity를 초래합니다. 이러한 추세는 XL 크기의 모델에도 적용됩니다. 이는 ExactSubstr 중복이 훈련 세트에 가장 적합하지 않은 모델을 생성한다는 것을 시사할 수 있지만, 이 두 가지 기술 모두 별도의 중복 임계값을 사용했으며 다른 임계값을 선택하면 결과가 달라질 수 있다는 점에 유의하세요.
LM1B 및 Wiki-40B의 유효성 검사 세트와 C4 유효성 검사 세트의 하위 집합에 대해 학습된 모델의 당혹감을 계산했습니다(그림 2). 기본 크기의 경우, 모든 모델이 원래 C4 유효성 검사 세트와 고유한 것으로 식별된 유효성 검사 세트 예제(훈련 또는 유효성 검사 세트에서 근접 중복이 없는 경우)에서 유사한 당혹감을 가지고 있음을 관찰할 수 있습니다. 그러나 중복 제거된 데이터로 훈련된 두 모델 모두 원래 C4로 훈련된 모델보다 훈련 세트에 중복이 있는 유효성 검사 세트 예제에서 훨씬 더 높은 당혹감을 보입니다. ExactSubstr-중복 제거는 NearDup-중복 제거보다 더 높은 당혹감을 초래합니다. 이러한 추세는 XL 크기의 모델에도 적용됩니다. 이는 ExactSubstr 중복이 훈련 세트에 가장 적합하지 않은 모델을 생성한다는 것을 시사할 수 있지만, 이 두 가지 기술 모두 별도의 중복 임계값을 사용했으며 다른 임계값을 선택하면 결과가 달라질 수 있다는 점에 유의하세요.