The key takeaways from the Yi pretraining procedure are about data quantity and quality: (1). training the model on a larger amount of data than the Chinchilla optimal delivers clear and consistent performance gain, which we highly recommend for all pretraining teams. Our model is trained on 3.1T tokens, yet we belive with larger amount of data, we can continue improve the model performance (i.e., the model have not saturated at 3.1T); (2). when it comes to the pretraining data quality, we believe the most critical two factors are the source of the data (e.g., whether the text is produced for professional usage or for casual social media posting) and the details of the data cleaning (e.g., the strength of filtering and deduplication). Since data cleaning is a very complicated pipeline and it is extremely difficult to conduct extensive grid-search styled optimizations, our current solution may still have room for improvements.
Yi 사전 학습 절차에서 얻은 핵심 사항은 데이터의 양과 품질에 관한 것입니다: (1). Chinchilla optimal보다 더 많은 양의 데이터로 모델을 학습하면 명확하고 일관된 성능 향상을 얻을 수 있으며, 모든 사전 학습 팀에 적극 추천합니다. 저희 모델은 3.1T tokens으로 학습되었지만, 더 많은 양의 데이터를 사용하면 모델 성능을 지속적으로 개선할 수 있을 것으로 생각합니다(즉, 모델이 3.1T에서 포화 상태에 이르지 않았습니다); (2). 사전 학습 데이터 품질과 관련하여 가장 중요한 두 가지 요소는 데이터의 출처(예: 전문적인 용도로 텍스트를 작성하는지 아니면 일상적인 소셜 미디어 게시물을 위해 작성하는지)와 데이터 정리의 세부 사항(예: 필터링 및 중복 제거의 강도)이라고 생각합니다. 데이터 정리는 매우 복잡한 파이프라인이며 광범위한 grid-search 스타일의 최적화를 수행하기가 매우 어렵기 때문에 현재 솔루션에는 여전히 개선의 여지가 있습니다.
Yi 사전 학습 절차에서 얻은 핵심 사항은 데이터의 양과 품질에 관한 것입니다: (1). 칭칠라 최적보다 더 많은 양의 데이터로 모델을 학습하면 명확하고 일관된 성능 향상을 얻을 수 있으며, 모든 사전 학습 팀에 적극 추천합니다. 저희 모델은 3.1T 토큰으로 학습되었지만, 더 많은 양의 데이터를 사용하면 모델 성능을 지속적으로 개선할 수 있을 것으로 생각합니다(즉, 모델이 3.1T에서 포화 상태에 이르지 않았습니다); (2). 사전 학습 데이터 품질과 관련하여 가장 중요한 두 가지 요소는 데이터의 출처(예: 전문적인 용도로 텍스트를 작성하는지 아니면 일상적인 소셜 미디어 게시물을 위해 작성하는지)와 데이터 정리의 세부 사항(예: 필터링 및 중복 제거의 강도)이라고 생각합니다. 데이터 정리는 매우 복잡한 파이프라인이며 광범위한 그리드 검색 스타일의 최적화를 수행하기가 매우 어렵기 때문에 현재 솔루션에는 여전히 개선의 여지가 있습니다.