CC-RecentNewsWe first construct CC-RecentNews, a novel text corpus containing relatively _new_ knowledge as \(D_{1}\). We use news-please (Hamborg et al., 2017), similar to the CC-NEWS (Liu et al., 2019) and REALNEWS dataset (Zellers et al., 2019), to crawl 221,779 news articles published from May 2020 to April 2021. LMs initially pretrained on \(D_{0}\) constructed before May 2020 can be continually pretrained on CC-RecentNews to gain relatively _recent_ world knowledge.
CC-RecentNews먼저, 상대적으로 _new_ 지식을 포함하는 새로운 텍스트 말뭉치인 CC-RecentNews를 \(D_{1}\)로 구성합니다. CC-NEWS(Liu et al., 2019) 및 REALNEWS 데이터 세트(Zellers et al., 2019)와 유사한 news-please(Hamborg et al., 2017)를 사용하여 2020년 5월부터 2021년 4월까지 게시된 221,779개의 뉴스 기사를 크롤링합니다. 2020년 5월 이전에 구축된 \(D_{0}\)에 대해 처음에 사전 학습된 LMs은 CC-RecentNews에 대해 지속적으로 사전 학습하여 비교적 _recent_ 세계 지식을 얻을 수 있습니다.
CC-RecentNews먼저, 상대적으로 새로운 지식을 포함하는 새로운 텍스트 말뭉치인 CC-RecentNews를 \(D_{1}\)로 구성합니다. CC-NEWS(Liu et al., 2019) 및 REALNEWS 데이터 세트(Zellers et al., 2019)와 유사한 뉴스 플리즈(Hamborg et al., 2017)를 사용하여 2020년 5월부터 2021년 4월까지 게시된 221,779개의 뉴스 기사를 크롤링합니다. 2020년 5월 이전에 구축된 \(D_{0}\)에 대해 처음에 사전 학습된 LM은 CC-RecentNews에 대해 지속적으로 사전 학습하여 비교적 최근의 세계 지식을 얻을 수 있습니다.