Pythia and deduplication.The Pythia series of models is available in two flavours: one trained on the vanilla version of The Pile, and another trained on a version deduplicated with MinHash. Performance between these two flavours was noted to minimally differ (Biderman et al., 2023); in Figure 9, we find the deduplicated version may be slightly ahead of the non-deduplicated one under our aggregate. The higher end of this improvement is broadly in line with our findings in Table 5. Nevertheless, a difference in our findings and theirs remain.
Pythia와 중복 제거. Pythia 모델 시리즈는 두 가지 버전으로 제공됩니다: The Pile의 기본 버전으로 훈련된 모델과 MinHash로 중복 제거된 버전으로 훈련된 모델. 이 두 버전 간의 성능 차이는 최소한으로 나타났습니다 (Biderman et al., 2023); Figure 9에서, 우리는 중복 제거된 버전이 비중복 버전보다 약간 앞서 있을 수 있음을 발견했습니다. 이러한 개선의 상한선은 Table 5에서 우리의 발견과 대체로 일치합니다. 그럼에도 불구하고, 우리의 발견과 그들의 발견 사이에는 차이가 남아 있습니다.
피티아와 중복 제거.Pythia 시리즈 모델은 두 가지 맛으로 제공됩니다: 하나는 바닐라 버전의 더 파일로 학습되었고, 다른 하나는 MinHash로 중복 제거된 버전으로 학습되었습니다. 이 두 가지 맛 사이의 성능은 거의 차이가 없는 것으로 나타났습니다(Biderman et al., 2023); 그림 9에서 중복 제거된 버전이 우리의 집계 하에서 중복 제거되지 않은 버전보다 약간 앞서 있는 것을 볼 수 있습니다. 이 개선의 상한은 표 5의 결과와 대체로 일치합니다. 그럼에도 불구하고 우리의 연구 결과와 그들의 연구 결과 사이에는 차이가 남아 있습니다.