Figure 1: Learning curves for 6.7B OPT model pretraining on 100B tokens, with data selected with D4 (pink line) and randomly (gray line). D4 significantly outperforms baseline training, getting between 18-20% efficiency gains on validation perplexity and 2% increase in average 0-shot downstream accuracy across 16 NLP tasks. See Section A.2 for full learning curves.
그림 1: 100B tokens에 대해 6.7B OPT 모델 전처리를 위한 Learning curves, D4(분홍색 선)와 무작위로(회색 선) 선택된 데이터로 학습한 경우. D4는 baseline 학습보다 유효성 검사 Perplexity에서 18~20%의 효율성 향상과 16개 NLP 작업에서 평균 zero-shot downstream 정확도가 2% 증가하는 등 크게 뛰어난 성능을 보입니다. 전체 Learning curves는 섹션 A.2를 참조하세요.
그림 1: 100B 토큰에 대해 6.7B OPT 모델 전처리를 위한 학습 곡선, D4(분홍색 선)와 무작위로(회색 선) 선택된 데이터로 학습한 경우. D4는 기준선 학습보다 유효성 검사 난해도에서 18~20%의 효율성 향상과 16개 NLP 작업에서 평균 0샷 다운스트림 정확도가 2% 증가하는 등 크게 뛰어난 성능을 보입니다. 전체 학습 곡선은 섹션 A.2를 참조하세요.