It has been observed in past work that up-weighting high-quality data, such as texts from Wikipedia, can be useful to improve language modeling. These terms have generally been very loosely defined and there is only anecdotal evidence of the same (Brown et al., 2020; Wenzek et al., 2020). At the same time, web data is deficient of text in question-answering or conversational format, which is a prominent use case of language models. Based on these two insights, we design the rephrasing styles for our work.
과거 연구에서 Wikipedia의 텍스트와 같은 고품질 데이터를 가중치를 부여하는 것이 언어 모델링을 개선하는 데 유용할 수 있다는 사실이 관찰되었습니다. 이러한 용어는 일반적으로 매우 느슨하게 정의되어 왔으며, 동일한 일화적인 증거만 있습니다(Brown et al., 2020; Wenzek et al., 2020). 동시에 웹 데이터에는 언어 모델의 대표적인 사용 사례인 question-answering 또는 대화 형식의 텍스트가 부족합니다. 이 두 가지 인사이트를 바탕으로 저희는 작업을 위한 문구 스타일을 설계했습니다.
과거 연구에서 위키피디아의 텍스트와 같은 고품질 데이터를 가중치를 부여하는 것이 언어 모델링을 개선하는 데 유용할 수 있다는 사실이 관찰되었습니다. 이러한 용어는 일반적으로 매우 느슨하게 정의되어 왔으며, 동일한 일화적인 증거만 있습니다(Brown et al., 2020; Wenzek et al., 2020). 동시에 웹 데이터에는 언어 모델의 대표적인 사용 사례인 질문-답변 또는 대화 형식의 텍스트가 부족합니다. 이 두 가지 인사이트를 바탕으로 저희는 작업을 위한 문구 스타일을 설계했습니다.