We built our training dataset out of a 2T-token sample from our open dataset, Dolma (Soldaini et al., 2024), which we describe in Section 2.2. The tokens from every document are concatenated together after appending a special EOS token to the end of each document, and then we group consecutive chunks of 2048 tokens to form training instances. The training instances are shuffled in the exact same way for each training run. The data order and exact composition of each training batch can be reconstructed from the artifacts we release.
훈련 데이터 세트는 2.2절에서 설명하는 오픈 데이터 세트인 Dolma(Soldaini et al., 2024)의 2T-token 샘플을 기반으로 구축되었습니다. 모든 문서의 token은 각 문서 끝에 특수 EOS token을 추가한 후 함께 연결되고, 2048개의 token으로 이루어진 연속된 청크를 그룹화하여 훈련 인스턴스를 형성합니다. 훈련 인스턴스는 각 훈련 실행에 대해 정확히 동일한 방식으로 셔플됩니다. 각 훈련 batch의 데이터 순서와 정확한 구성은 공개하는 아티팩트에서 재구성할 수 있습니다.
훈련 데이터 세트는 2.2절에서 설명하는 오픈 데이터 세트인 Dolma(Soldaini et al., 2024)의 2T 토큰 샘플을 기반으로 구축되었습니다. 모든 문서의 토큰은 각 문서 끝에 특수 EOS 토큰을 추가한 후 함께 연결되고, 2048개의 토큰으로 이루어진 연속된 청크를 그룹화하여 훈련 인스턴스를 형성합니다. 훈련 인스턴스는 각 훈련 실행에 대해 정확히 동일한 방식으로 셔플됩니다. 각 훈련 배치의 데이터 순서와 정확한 구성은 공개하는 아티팩트에서 재구성할 수 있습니다.