Figure 5: **Importance of High Quality Paraphraser:** Perplexity across all the Pile domains for **WRAP** on data generated by different LLMs. Results show that even small models like Qwen-1.8B can generate paraphrases of high quality. Though, a low quality rephrase like our fine-tuned T5-base model leads to significantly worse language modeling.
그림 5: **고품질 Paraphraser의 중요성:** 다양한 LLM이 생성한 데이터에 대한 모든 Pile 도메인에 대한 **WRAP**의 Perplexity. 결과는 Qwen-1.8B와 같은 작은 모델도 고품질의 Paraphrase를 생성할 수 있음을 보여줍니다. 그러나 Fine-tuning된 T5-base 모델과 같은 품질이 낮은 Paraphrase는 언어 모델링의 성능을 현저히 떨어뜨립니다.
그림 5: **고품질 의역기의 중요성:** 다양한 LLM이 생성한 데이터에 대한 모든 Pile 도메인에 대한 **WRAP**의 난해성. 결과는 Qwen-1.8B와 같은 작은 모델도 고품질의 의역을 생성할 수 있음을 보여줍니다. 그러나 미세 조정된 T5-base 모델과 같은 품질이 낮은 의역은 언어 모델링의 성능을 현저히 떨어뜨립니다.