All of our released models have been trained to at least 2T tokens (a single epoch over our training data), and some have been trained beyond that by starting a second epoch over the data with a different shuffling order. The impact of repeating this small amount of data should be negligible according to prior work (Muennighoff et al., 2023).
출시된 모든 모델은 최소 2T tokens(훈련 데이터에 대한 단일 epoch)까지 훈련되었으며, 일부 모델은 다른 shuffling 순서로 데이터에 대한 두 번째 epoch를 시작하여 그 이상 훈련되었습니다. 이 소량의 데이터를 반복하는 것이 미치는 영향은 이전 연구(Muennighoff et al., 2023)에 따르면 무시할 수 있습니다.
출시된 모든 모델은 최소 2T 토큰(훈련 데이터에 대한 단일 에포크)까지 훈련되었으며, 일부 모델은 다른 셔플 순서로 데이터에 대한 두 번째 에포크를 시작하여 그 이상 훈련되었습니다. 이 소량의 데이터를 반복하는 것이 미치는 영향은 이전 연구(Muennighoff et al., 2023)에 따르면 무시할 수 있습니다.