Footnote 2: CC-RecentNews consists of 221,779 articles (\(\sim\)168M tokens), which is estimated to be about 750 times smaller than C4, a cleansed version of the April 2019 Common Crawl dataset ([https://commoncrawl.org/](https://commoncrawl.org/)) that was used to initially pretrain the T5 LM (Raffel et al., 2019).
Footnote 2: CC-RecentNews는 221,779개의 기사(\(\sim\)168M 토큰)로 구성되어 있으며, 이는 T5 LM을 초기 사전 훈련하는 데 사용된 2019년 4월 Common Crawl 데이터셋의 정제된 버전인 C4보다 약 750배 작습니다 (Raffel et al., 2019).
각주 2: CC-RecentNews는 221,779개의 기사(\(\sim\)168M 토큰)로 구성되어 있으며, 이는 T5 LM을 처음 학습시키는 데 사용된 2019년 4월 Common Crawl 데이터 세트의 정제된 버전인 C4보다 약 750배 작은 것으로 추정됩니다([https://commoncrawl.org/](https://commoncrawl.org/)).