The C4 dataset is a large, cleaned version of Common Crawl's web crawl corpus [18]. The context window was set to 1024, and each batch contained about 500k tokens.
C4 데이터셋은 Common Crawl의 웹 크롤링 코퍼스 [18]의 크고 정제된 버전입니다. 컨텍스트 윈도우는 1024로 설정되었으며, 각 배치에는 약 50만 개의 토큰이 포함되었습니다.
C4 데이터 세트는 Common Crawl의 웹 크롤링 코퍼스 [18]의 대규모 정리 버전이다. 컨텍스트 창은 1024로 설정되었으며 각 배치에는 약 50만 개의 토큰이 포함되었다.