Figure 7: **Deduplication may reduce the degradation in performance incurred by multiple epochs.** However, our experiments were only performed at small-scale (1B models trained on 30GT), and we see high variability in outcomes across tasks. Zero-shot performance measured on the agg-dev-2 aggregate (HellaSwag, PIQA, ARC, BoolQ, COPA, MRPC, SciQ). Individual curves for per-task results and 1-\(\sigma\) standard deviation across all tasks in the aggregate in transparent.
그림 7: **Deduplication은 여러 에포크로 인한 성능 저하를 줄일 수 있습니다.** 그러나 실험은 소규모(30GT에서 학습된 1B 모델)에서만 수행되었으며, 작업마다 결과에 큰 변동성이 있는 것으로 나타났습니다. 집계된 agg-dev-2 집계(HellaSwag, PIQA, ARC, BoolQ, COPA, MRPC, SciQ)에서 측정된 zero-shot 성능입니다. 집계에 포함된 모든 작업에 대한 개별 곡선과 1-\(\sigma\) 표준 편차가 투명하게 표시됩니다.
그림 7: **중복 제거는 여러 에포크로 인한 성능 저하를 줄일 수 있습니다.** 그러나 실험은 소규모(30GT에서 학습된 1B 모델)에서만 수행되었으며, 작업마다 결과에 큰 변동성이 있는 것으로 나타났습니다. 집계된 agg-dev-2 집계(HellaSwag, PIQA, ARC, BoolQ, COPA, MRPC, SciQ)에서 측정된 제로 샷 성능입니다. 집계에 포함된 모든 작업에 대한 개별 곡선과 1-\(\sigma\) 표준 편차가 투명하게 표시됩니다.