tasks. However, when evaluated on Pile perplexity, we observe significant degradation in perplexity across many sub-domains in Figure 3. This is likely because synthetic data is very clean containing few special characters and being highly structured. In contrast several sub-domains of the Pile such as OWT, and Hackernews have such special tokens. On domains such as Philipapers and Gutenberg, we observe that dropping real C4 text from the pre-training data, and training on synthetic documents alone drops performance significantly (increase in perplexity). This is once again attributed to the fact that synthetic data does not contain certain 'tags' and'styles' that are prevalent in real data scrapes, and emphasized how **WRAP** is a better strategy than pre-training on synthetic data alone. In terms of performance on zero-shot tasks, we once again note that the presence of real data helps improve zero-shot performance in Tables 3,4. Since zero-shot tasks contain well-written Q/A pairs, this effect is not as evident as that for perplexities on real data.
작업. 그러나 Pile perplexity를 평가했을 때, 그림 3에서 많은 하위 도메인에서 perplexity가 크게 저하되는 것을 관찰할 수 있습니다. 이는 합성 데이터가 특수 문자가 거의 없고 구조가 매우 규칙적이기 때문에 매우 깨끗하기 때문일 수 있습니다. 이와 대조적으로 OWT, Hackernews와 같은 Pile의 여러 하위 도메인에는 이러한 특수 토큰이 있습니다. Philipapers와 Gutenberg와 같은 도메인에서는 사전 학습 데이터에서 실제 C4 텍스트를 삭제하고 합성 문서만 학습하면 성능이 크게 저하됩니다(perplexity 증가). 이는 다시 한 번 합성 데이터에 실제 데이터 스크랩에서 널리 사용되는 특정 '태그'와 '스타일'이 포함되어 있지 않다는 사실에 기인하며, 합성 데이터만 사전 학습하는 것보다 **WRAP**이 더 나은 전략이라는 점을 강조합니다. zero-shot 과제의 성능 측면에서도 표 3,4에서 실제 데이터의 존재가 zero-shot 성능을 향상시키는 데 도움이 된다는 점을 다시 한 번 확인할 수 있습니다. zero-shot 과제에는 잘 작성된 Q/A 쌍이 포함되어 있기 때문에 실제 데이터의 perplexity에 비해 이러한 효과는 그다지 뚜렷하지 않습니다.
작업. 그러나 Pile 난해성을 평가했을 때, 그림 3에서 많은 하위 도메인에서 난해성이 크게 저하되는 것을 관찰할 수 있습니다. 이는 합성 데이터가 특수 문자가 거의 없고 구조가 매우 규칙적이기 때문에 매우 깨끗하기 때문일 수 있습니다. 이와 대조적으로 OWT, Hackernews와 같은 Pile의 여러 하위 도메인에는 이러한 특수 토큰이 있습니다. 필리페이퍼와 구텐베르크와 같은 도메인에서는 사전 학습 데이터에서 실제 C4 텍스트를 삭제하고 합성 문서만 학습하면 성능이 크게 저하됩니다(난해성 증가). 이는 다시 한 번 합성 데이터에 실제 데이터 스크랩에서 널리 사용되는 특정 '태그'와 '스타일'이 포함되어 있지 않다는 사실에 기인하며, 합성 데이터만 사전 학습하는 것보다 **WRAP**이 더 나은 전략이라는 점을 강조합니다. 제로샷 과제의 성능 측면에서도 표 3,4에서 실제 데이터의 존재가 제로샷 성능을 향상시키는 데 도움이 된다는 점을 다시 한 번 확인할 수 있습니다. 제로샷 과제에는 잘 작성된 Q/A 쌍이 포함되어 있기 때문에 실제 데이터의 난해도에 비해 이러한 효과는 그다지 뚜렷하지 않습니다.