In our work, we tackle two important challenges faced during synthetic data curation in the works of Gunasekar et al. (2023)--generation cost, and data bias--by rephrasing articles on the web. (i) **WRAP** allows for using an open source, and much smaller LLM (1.8B/7B v/s GPT3.5) to rephrase unstructured and poorly phrased documents in different styles, since it does not rely on the LLM as a knowledge bank. (ii) Thanks to the information maintaining nature of rephrasing, we are able to leverage the natural diversity of the web, rather than relying on an LLM for information which may be prone to factual errors, and/or data biases. Our work shows that the "style" alone can result in large gains in downstream performance.
우리의 연구에서는 Gunasekar et al. (2023)의 작업에서 합성 데이터 큐레이션 중 직면하는 두 가지 중요한 도전 과제인 생성 비용과 데이터 편향을 웹상의 기사를 재구성함으로써 해결합니다. (i) **WRAP**은 LLM을 지식 은행으로 사용하지 않기 때문에 오픈 소스이면서 훨씬 작은 LLM (1.8B/7B 대 GPT3.5)을 사용하여 비구조적이고 잘못된 문서를 다양한 스타일로 재구성할 수 있게 합니다. (ii) 재구성의 정보 유지 특성 덕분에, 사실 오류 및/또는 데이터 편향에 취약할 수 있는 LLM에 의존하지 않고 웹의 자연스러운 다양성을 활용할 수 있습니다. 우리의 연구는 "스타일"만으로도 다운스트림 성능에서 큰 향상을 가져올 수 있음을 보여줍니다.
저희 연구에서는 웹 기사를 다시 작성하여 구나세카르 등(2023)의 연구에서 합성 데이터 큐레이션 중에 직면한 두 가지 중요한 과제, 즉 생성 비용과 데이터 편향성을 해결합니다. (i) **WRAP**은 LLM을 지식 은행으로 사용하지 않기 때문에 구조화되지 않고 잘못 표현된 문서를 다양한 스타일로 바꾸는 데 오픈 소스이며 훨씬 작은 LLM(1.8B/7B 대 GPT3.5)을 사용할 수 있습니다. (ii) 다시 작성하는 정보 유지 특성 덕분에 사실 오류 및/또는 데이터 편향성이 있을 수 있는 LLM에 의존하지 않고 웹의 자연스러운 다양성을 활용할 수 있습니다. 저희 연구는 '스타일'만으로도 다운스트림 성능이 크게 향상될 수 있음을 보여줍니다.