Pretraining CorpusFor mathematical reasoning, we utilize the OpenWebMath (OWM) dataset (Paster et al., 2023), which comprises approximately 14B tokens sourced from math-related web pages in the Common Crawl.
수학적 추론을 위해, 우리는 Common Crawl의 수학 관련 웹 페이지에서 수집된 약 140억 개의 토큰으로 구성된 OpenWebMath (OWM) 데이터셋 (Paster et al., 2023)을 활용합니다.
사전 학습 코퍼스수학적 추론을 위해, 약 14B 토큰으로 구성된 OpenWebMath(OWM) 데이터 세트(Paster et al., 2023)를 활용하며, 이 데이터 세트는 Common Crawl의 수학 관련 웹 페이지에서 가져온 것입니다.