RQ3: How important is to have a high-quality re-phraser?To answer this, we use data from four distinct re-phrasing models (T5-base (Raffel et al., 2020), Owen-L8B-chat (Bai et al., 2023a), Mistral-7B-chat (Jiang et al., 2023), and Vicuna-13B-chat-v1.3 (Chiang et al., 2023)) and train a 345M model for 30B tokens. We generate data from all models using the same prompt. In case of the T5-base model, we finetune the model for 1 epoch on re-phrase pairs from the Vicuna-13b-chat model. We find that pre-training on data generated by smaller re-phrase models like Qwen-1.8B and Mistral-7B achieve lower perplexity than Vicuna 13B (Figure 5). At the same time, our fine-tuned T5-base model performs significantly worse than the rest. Even then, all rephrase models reduce perplexity over only real C4 data. It remains an open question to test the limits of how small can we train a paraphrase model that can generate high quality synthetic data to further scale the applicability of **WRAP**.
RQ3: 고품질의 re-phraser가 얼마나 중요한가요? 이를 답하기 위해 네 가지 re-phrasing 모델(T5-base(Raffel et al., 2020), Owen-L8B-chat(Bai et al., 2023a), Mistral-7B-chat(Jiang et al., 2023), Vicuna-13B-chat-v1.3(Chiang et al., 2023))의 데이터를 사용하여 30B tokens에 대해 345M 모델을 학습합니다. 모든 모델에서 동일한 prompt를 사용하여 데이터를 생성합니다. T5-base 모델의 경우, Vicuna-13b-chat 모델의 re-phrase pairs에 대해 1회 동안 모델을 Fine-tuning합니다. Qwen-1.8B 및 Mistral-7B와 같은 작은 re-phrase 모델에서 생성된 데이터로 pre-training하면 Vicuna 13B보다 낮은 perplexity를 얻을 수 있음을 발견했습니다(그림 5). 동시에 Fine-tuning된 T5-base 모델은 나머지 모델보다 훨씬 낮은 성능을 보입니다. 그럼에도 불구하고 모든 rephrase 모델은 실제 C4 데이터만으로도 perplexity를 줄여줍니다. 고품질의 합성 데이터를 생성하여 **WRAP**의 적용 가능성을 더욱 확장할 수 있는 paraphrase 모델을 얼마나 작게 훈련할 수 있는지 한계를 테스트하는 것은 아직 미해결 과제로 남아 있습니다.
RQ3: 고품질의 재구문화기가 얼마나 중요한가요? 이를 답하기 위해 네 가지 재구문화 모델(T5-base(Raffel et al., 2020), Owen-L8B-chat(Bai et al., 2023a), Mistral-7B-chat(Jiang et al., 2023), Vicuna-13B-chat-v1.3(Chiang et al., 2023))의 데이터를 사용하여 30B 토큰에 대해 345M 모델을 학습합니다. 모든 모델에서 동일한 프롬프트를 사용하여 데이터를 생성합니다. T5-base 모델의 경우, Vicuna-13b-chat 모델의 재구문 쌍에 대해 1회 동안 모델을 미세 조정합니다. Qwen-1.8B 및 Mistral-7B와 같은 작은 재구문 모델에서 생성된 데이터로 사전 학습하면 Vicuna 13B보다 낮은 당혹감을 얻을 수 있음을 발견했습니다(그림 5). 동시에 미세 조정된 T5-base 모델은 나머지 모델보다 훨씬 낮은 성능을 보입니다. 그럼에도 불구하고 모든 재구문 모델은 실제 C4 데이터만으로도 당혹감을 줄여줍니다. 고품질의 합성 데이터를 생성하여 **WRAP**의 적용 가능성을 더욱 확장할 수 있는 의역 모델을 얼마나 작게 훈련할 수 있는지 한계를 테스트하는 것은 아직 미해결 과제로 남아 있습니다.