\(\bullet\)_Webpages._ Owing to the proliferation of the Internet, various types of data have been created, which enables LLMs to gain diverse linguistic knowledge and enhance their generalization capabilities [82, 26]. For convenient use of these data resources, a large amount of data is crawled from the web in previous work, such as CommonCrawl [163]. However, the crawled web data tends to contain both high-quality text, such as Wikipedia and low-quality text, like spam mail, thus it is important to filter and process webpages for improving the data quality.
\(\bullet\)_Webpages._ 인터넷의 확산으로 인해 다양한 유형의 데이터가 생성되어 LLMs이 다양한 언어적 지식을 습득하고 일반화 기능을 향상시킬 수 있게 되었습니다[82, 26]. 이러한 데이터 리소스를 편리하게 사용하기 위해 이전 작업에서는 CommonCrawl [163]과 같이 웹에서 대량의 데이터를 크롤링했습니다. 그러나 크롤링된 웹 데이터에는 Wikipedia와 같은 고품질 텍스트와 스팸 메일과 같은 저품질 텍스트가 모두 포함되어 있기 때문에 데이터 품질을 개선하기 위해 웹 페이지를 필터링하고 처리하는 것이 중요합니다.
\(\bullet\)_웹페이지._ 인터넷의 확산으로 인해 다양한 유형의 데이터가 생성되어 LLM이 다양한 언어적 지식을 습득하고 일반화 기능을 향상시킬 수 있게 되었습니다[82, 26]. 이러한 데이터 리소스를 편리하게 사용하기 위해 이전 작업에서는 CommonCrawl [163]과 같이 웹에서 대량의 데이터를 크롤링했습니다. 그러나 크롤링된 웹 데이터에는 위키피디아와 같은 고품질 텍스트와 스팸 메일과 같은 저품질 텍스트가 모두 포함되어 있기 때문에 데이터 품질을 개선하기 위해 웹 페이지를 필터링하고 처리하는 것이 중요합니다.