Figure 3: **Importance of Real Data:** Comparing perplexity on the Pile when pre-training on C4 with synthetic data vs. synthetic data only. Models are 1.3B parameters trained for a total of 150B tokens on a real data subset containing 35 Billion tokens of the C4.
그림 3: **실제 데이터의 중요성:** 합성 데이터에 대해 C4로 사전 학습할 때의 Perplexity를 합성 데이터만 사용한 경우와 비교한 결과입니다. 모델은 1.3B 개의 파라미터로, 35 Billion 개의 토큰이 포함된 C4의 실제 데이터 하위 집합에서 총 150B 개의 토큰에 대해 학습되었습니다.
그림 3: **실제 데이터의 중요성:** 합성 데이터에 대해 C4로 사전 학습할 때의 퍼플렉시티를 합성 데이터만 사용한 경우와 비교한 결과입니다. 모델은 1.30억 개의 파라미터로, 350억 개의 토큰이 포함된 C4의 실제 데이터 하위 집합에서 총 1,500억 개의 토큰에 대해 학습되었습니다.