Financial News CommonCrawl [13.2B words, 83.5%]We create an English financial news dataset by pre-processing the publicly available News CommonCrawl dumps hosted on AWS S34 spanning from 2016 to 2022. To identify financial news articles from the vast collection of News CommonCrawl dumps, we employ two filtering mechanisms: the domain filter and the URL keyword filter. Firstly, we establish a comprehensive portfolio of web domains corresponding to reputable news outlets that predominantly focus on financial, economic, and business news, such as CNBC. We retain news articles specifically sourced from these financial news domains, which constitute a substantial portion of our financial corpus.
재무 뉴스 CommonCrawl [13.2B 단어, 83.5%]2016년부터 2022년까지 AWS S34에 호스팅되는 공개적으로 이용 가능한 뉴스 CommonCrawl 덤프를 전처리하여 영어 금융 뉴스 데이터 세트를 생성합니다. 방대한 뉴스 CommonCrawl 덤프 컬렉션에서 금융 뉴스 기사를 식별하기 위해 도메인 필터와 URL 키워드 필터라는 두 가지 필터링 메커니즘을 사용합니다. 첫째, CNBC와 같이 금융, 경제 및 비즈니스 뉴스에 주로 초점을 맞춘 평판이 좋은 뉴스 매체에 해당하는 웹 도메인의 포괄적인 포트폴리오를 구축합니다. 금융 뉴스 도메인에서 특별히 소싱한 뉴스 기사는 금융 코퍼스의 상당 부분을 차지합니다.
재무 뉴스 커먼크롤 [13.2B 단어, 83.5%]2016년부터 2022년까지 AWS S34에 호스팅되는 공개적으로 이용 가능한 뉴스 커먼크롤 덤프를 전처리하여 영어 금융 뉴스 데이터 세트를 생성합니다. 방대한 뉴스 커먼크롤 덤프 컬렉션에서 금융 뉴스 기사를 식별하기 위해 도메인 필터와 URL 키워드 필터라는 두 가지 필터링 메커니즘을 사용합니다. 첫째, CNBC와 같이 금융, 경제 및 비즈니스 뉴스에 주로 초점을 맞춘 평판이 좋은 뉴스 매체에 해당하는 웹 도메인의 포괄적인 포트폴리오를 구축합니다. 금융 뉴스 도메인에서 특별히 소싱한 뉴스 기사는 금융 코퍼스의 상당 부분을 차지합니다.