Generating synthetic data using an off-the-shelf language model can be both computationally expensive and operationally challenging. Prior approaches to generating synthetic textbook quality data using LLMs (Gunasekar et al., 2023) required (1) a language model that contains sufficient world knowledge to generate articles worth training on, thereby increasing generation cost; (2) a careful selection of prompts that enable generating high quality, and diverse articles that fill any knowledge gaps in the synthetic corpus. This challenge was highlighted in follow-up work of Li et al. (2023c), and has the potential of inadvertently creeping in biases in the language models (Maini, 2023), as opposed to those trained on the natural diversity of the web. As a remedy to the challenge of (i) generation cost, and (ii) data diversity, we propose **WRAP** that leverages the natural diversity of articles on the web, allowing us to utilize significantly smaller LLMs (than GPT-3.5) to generate high-quality paraphrases of noisy and unstructured articles on the web.
기성 언어 모델을 사용하여 합성 데이터를 생성하는 것은 계산 비용이 많이 들고 운영적으로 어려울 수 있습니다. LLM을 사용하여 합성 교과서 품질의 데이터를 생성하는 기존 접근 방식(Gunasekar et al., 2023)에는 (1) 학습할 가치가 있는 기사를 생성할 수 있는 충분한 세계 지식을 포함하는 language model이 필요하므로 generation cost가 증가하고, (2) 고품질의 다양한 기사를 생성하여 합성 corpus의 지식 격차를 메울 수 있는 prompt를 신중하게 선택해야 합니다. 이 문제는 Li et al.(2023c)의 후속 연구에서 강조되었으며, 웹의 자연스러운 다양성을 통해 학습된 language model과 달리 의도치 않게 language model에 편견이 스며들 가능성이 있습니다(Maini, 2023). (i) generation cost 및 (ii) data diversity 문제를 해결하기 위해 웹의 기사의 자연스러운 다양성을 활용하여 웹에서 노이즈가 많고 비정형화된 기사의 고품질 의역을 생성하는 데 훨씬 작은 LLM(GPT-3.5보다)을 활용할 수 있는 **WRAP**을 제안합니다.
기성 언어 모델을 사용하여 합성 데이터를 생성하는 것은 계산 비용이 많이 들고 운영적으로 어려울 수 있습니다. LLM을 사용하여 합성 교과서 품질의 데이터를 생성하는 기존 접근 방식(Gunasekar et al., 2023)에는 (1) 학습할 가치가 있는 기사를 생성할 수 있는 충분한 세계 지식을 포함하는 언어 모델이 필요하므로 생성 비용이 증가하고, (2) 고품질의 다양한 기사를 생성하여 합성 코퍼스의 지식 격차를 메울 수 있는 프롬프트를 신중하게 선택해야 합니다. 이 문제는 Li et al.(2023c)의 후속 연구에서 강조되었으며, 웹의 자연스러운 다양성을 통해 학습된 언어 모델과 달리 의도치 않게 언어 모델에 편견이 스며들 가능성이 있습니다(Maini, 2023). (i) 생성 비용 및 (ii) 데이터 다양성 문제를 해결하기 위해 웹의 기사의 자연스러운 다양성을 활용하여 웹에서 노이즈가 많고 비정형화된 기사의 고품질 의역을 생성하는 데 훨씬 작은 LLM(GPT-3.5보다)을 활용할 수 있는 **WRAP**을 제안합니다.