Another limitation is enforcing the diversity in the generated data. This diversity comes from both the "style" and the "knowledge" contained in the generated data. Recent works (Li et al., 2023b;c) used a selection of topics, or scenarios to seed the model to generate novel texts. Still, a recent study by Padmakumar et al. (2023) showed that using language models for AI-assisted writing tends to reduce content diversity, particularly when using instruction-tuned models. While we used the paradigm of rephrasing specifically to mitigate the issues pertaining to the diversity of novel content generation, it remains for future work to assess the presence (or lack of) and impact of content diversity in paraphrase models.
또 다른 한계는 생성된 데이터의 다양성을 강화하는 것입니다. 이러한 다양성은 생성된 데이터에 포함된 '스타일'과 '지식' 모두에서 비롯됩니다. 최근 연구(Li et al., 2023b;c)에서는 모델을 선택한 주제 또는 시나리오를 시드에 사용하여 새로운 텍스트를 생성하는 방법을 사용했습니다. 그러나 Padmakumar 등(2023)의 최근 연구에 따르면, 언어 모델을 AI 지원 작성에 사용할 경우, 특히 Instruction-tuned 모델을 사용할 경우 콘텐츠 다양성이 감소하는 경향이 있다고 합니다. 본 연구에서는 새로운 콘텐츠 생성의 다양성과 관련된 문제를 완화하기 위해 특히 의역이라는 패러다임을 사용했지만, 의역 모델에서 콘텐츠 다양성의 존재(또는 부족)와 영향을 평가하는 것은 향후 연구로 남아 있습니다.
또 다른 한계는 생성된 데이터의 다양성을 강화하는 것입니다. 이러한 다양성은 생성된 데이터에 포함된 '스타일'과 '지식' 모두에서 비롯됩니다. 최근 연구(Li et al., 2023b;c)에서는 모델을 선택한 주제 또는 시나리오를 시드에 사용하여 새로운 텍스트를 생성하는 방법을 사용했습니다. 그러나 Padmakumar 등(2023)의 최근 연구에 따르면, 언어 모델을 AI 지원 작성에 사용할 경우, 특히 지시 조정 모델을 사용할 경우 콘텐츠 다양성이 감소하는 경향이 있다고 합니다. 본 연구에서는 새로운 콘텐츠 생성의 다양성과 관련된 문제를 완화하기 위해 특히 의역이라는 패러다임을 사용했지만, 의역 모델에서 콘텐츠 다양성의 존재(또는 부족)와 영향을 평가하는 것은 향후 연구로 남아 있습니다.