In our evaluation of data sources, we consider three dimensions: public availability, licensing, and scale. We use two sources of data for the financial corpus: the financial news common crawl and SEC filings. Financial News CommonCrawl is curated by filtering out financial news from the public CommonCrawl data. We follow the de-duplication procedure of Pythia suite [4] to remove duplicate training data. While there is conflicting evidence of duplication hurting the performance [4; 14], there is no evidence of the benefits of duplication in the training data. Hence, for a more efficient training, we use de-duplication following [4]. Using these two sources, we create a combined dataset of 23.9 billion tokens (16.5 billion words). Details of curation steps can be found in Appendix E.
데이터 소스를 평가할 때 공개 가능 여부, 라이선스, 규모의 세 가지 차원을 고려합니다. 재무 코퍼스에는 재무 뉴스 CommonCrawl과 SEC 제출 자료의 두 가지 데이터 소스를 사용합니다. Financial News CommonCrawl은 공개 CommonCrawl 데이터에서 재무 뉴스를 필터링하여 큐레이션합니다. 중복된 학습 데이터를 제거하기 위해 Pythia suite [4]의 de-duplication 절차를 따릅니다. 중복이 성능에 해를 끼친다는 상충되는 증거가 있지만 [4; 14], 학습 데이터에서 중복의 이점에 대한 증거는 없습니다. 따라서 보다 효율적인 학습을 위해 [4]에 따라 de-duplication을 사용합니다. 이 두 가지 소스를 사용하여 239억 tokens (165억 words)의 통합 데이터 세트를 만듭니다. 큐레이션 단계에 대한 자세한 내용은 부록 E에서 확인할 수 있습니다.
데이터 소스를 평가할 때 공개 가능 여부, 라이선스, 규모의 세 가지 차원을 고려합니다. 재무 코퍼스에는 재무 뉴스 커먼 크롤링과 SEC 제출 자료의 두 가지 데이터 소스를 사용합니다. 재무 뉴스 커먼크롤은 공개 커먼크롤 데이터에서 재무 뉴스를 필터링하여 큐레이션합니다. 중복된 학습 데이터를 제거하기 위해 Pythia 제품군 [4]의 중복 제거 절차를 따릅니다. 중복이 성능에 해를 끼친다는 상충되는 증거가 있지만 [4; 14], 학습 데이터에서 중복의 이점에 대한 증거는 없습니다. 따라서 보다 효율적인 학습을 위해 [4]에 따라 중복 제거를 사용합니다. 이 두 가지 소스를 사용하여 239억 토큰(165억 단어)의 통합 데이터 세트를 만듭니다. 큐레이션 단계에 대한 자세한 내용은 부록 E에서 확인할 수 있습니다.