Figure 2: **WRAP (C4 + QA-85B) v/s C4**: Comparison of perplexity on the Pile for a 1.3B LLM trained for 300B tokens shows that WRAP outperforms models trained on 2x real data.
그림 2: **WRAP(C4 + QA-85B) 대 C4**: 300B tokens에 대해 학습된 1.3B LLM의 Perplexity를 비교한 결과, WRAP이 2배의 실제 데이터에 대해 학습된 모델보다 성능이 뛰어나다는 것을 알 수 있습니다.
그림 2: **WRAP(C4 + QA-85B) 대 C4**: 3000억 토큰에 대해 학습된 13억 LLM의 퍼플렉시티를 비교한 결과, WRAP이 2배의 실제 데이터에 대해 학습된 모델보다 성능이 뛰어나다는 것을 알 수 있습니다.