By training on a significantly larger number of tokens (3.1T) compared to prior work (usually \(\leq 2\)T), we have observed a substantial performance gain across benchmarks, as shown in Table 2. However, it is important to note that there are still discernible disparities between our model and existing open-source and close-source models, particularly in tasks related to mathematics and coding. As performance in these domains can be significantly improved by continual pretraining and instruction fine-tuning, we have refrained from incorporating extensive mathematical and coding content in the pretraining corpus when making the initial design choices. We do plan to release models with enhanced math and coding capabilities in the future.
이전 작업(일반적으로 (\(≤ 2\)T)에 비해 훨씬 더 많은 수의 토큰(3.1T)에 대한 훈련을 통해 표 2와 같이 벤치마크 전반에서 상당한 성능 향상을 관찰했습니다. 그러나 우리 모델과 기존 오픈 소스 및 클로즈 소스 모델 사이에는 특히 수학 및 코딩과 관련된 작업에서 여전히 눈에 띄는 차이가 있다는 점에 유의하는 것이 중요합니다. 이러한 영역의 성능은 지속적인 사전 학습 및 Instruction Fine-tuning을 통해 크게 향상될 수 있으므로, 초기 설계 시에 사전 학습 코퍼스에 광범위한 수학 및 코딩 콘텐츠를 통합하지 않기로 결정했습니다. 향후에는 수학 및 코딩 기능이 향상된 모델을 출시할 계획입니다.
이전 작업(일반적으로 (\(≤ 2\)T)에 비해 훨씬 더 많은 수의 토큰(3.1T)에 대한 훈련을 통해 표 2와 같이 벤치마크 전반에서 상당한 성능 향상을 관찰했습니다. 그러나 우리 모델과 기존 오픈 소스 및 클로즈 소스 모델 사이에는 특히 수학 및 코딩과 관련된 작업에서 여전히 눈에 띄는 차이가 있다는 점에 유의하는 것이 중요합니다. 이러한 영역의 성능은 지속적인 사전 학습 및 지침 미세 조정을 통해 크게 향상될 수 있으므로, 초기 설계 시에 사전 학습 코퍼스에 광범위한 수학 및 코딩 콘텐츠를 통합하지 않기로 결정했습니다. 향후에는 수학 및 코딩 기능이 향상된 모델을 출시할 계획입니다.