Dolma is built using a pipeline of (1) language filtering, (2) quality filtering, (3) content filtering, (4) deduplication, (5) multi-source mixing, and (6) tokenization. We refer the reader to the Dolma report (Soldaini et al., 2024) for more details about its design principles, details about its construction, and a more detailed summary of its contents. The report provides additional analyses and experimental results from training language models on intermediate states of Dolma to share what we learned about important data curation practices, including the role of content or quality filters, deduplication, and mixing data from multiple sources. We keep documents from each source separate, both during curation as well as in the final release. We open-sourced our high-performance data curation tools; this toolkit can be used to further experiment on Dolma, reproduce our work, and enable fast and easy curation of pretraining corpora. Finally, we also open-sourced our WIMBD tool (Elazar et al., 2023) to help with dataset analysis.
Dolma는 (1) 언어 필터링, (2) 품질 필터링, (3) 콘텐츠 필터링, (4) 중복 제거, (5) 다중 소스 믹싱, (6) tokenization 파이프라인을 사용하여 구축됩니다. 설계 원칙에 대한 자세한 내용, 구축에 대한 자세한 내용, 내용에 대한 자세한 요약은 Dolma 보고서(Soldaini et al., 2024)를 참조하시기 바랍니다. 이 보고서는 콘텐츠 필터 또는 품질 필터의 역할, 중복 제거, 여러 소스의 데이터 혼합 등 중요한 데이터 큐레이션 관행에 대해 배운 내용을 공유하기 위해 Dolma의 중간 상태에서 language models를 훈련한 추가 분석 및 실험 결과를 제공합니다. 큐레이션 중에는 물론 최종 릴리스에서도 각 소스의 문서를 별도로 유지합니다. 고성능 데이터 큐레이션 도구를 오픈 소스화하여 Dolma에 대한 추가 실험, 저희의 작업 재현, 사전 학습 corpora의 빠르고 쉬운 큐레이션을 가능하게 하는 이 툴킷을 사용할 수 있습니다. 마지막으로, 데이터 세트 분석에 도움이 되는 WIMBD 툴(Elazar et al., 2023)도 오픈 소스화했습니다.
Dolma는 (1) 언어 필터링, (2) 품질 필터링, (3) 콘텐츠 필터링, (4) 중복 제거, (5) 다중 소스 믹싱, (6) 토큰화 파이프라인을 사용하여 구축됩니다. 설계 원칙에 대한 자세한 내용, 구축에 대한 자세한 내용, 내용에 대한 자세한 요약은 Dolma 보고서(Soldaini et al., 2024)를 참조하시기 바랍니다. 이 보고서는 콘텐츠 필터 또는 품질 필터의 역할, 중복 제거, 여러 소스의 데이터 혼합 등 중요한 데이터 큐레이션 관행에 대해 배운 내용을 공유하기 위해 Dolma의 중간 상태에서 언어 모델을 훈련한 추가 분석 및 실험 결과를 제공합니다. 큐레이션 중에는 물론 최종 릴리스에서도 각 소스의 문서를 별도로 유지합니다. 고성능 데이터 큐레이션 도구를 오픈 소스화하여 Dolma에 대한 추가 실험, 저희의 작업 재현, 사전 학습 코퍼라의 빠르고 쉬운 큐레이션을 가능하게 하는 이 툴킷을 사용할 수 있습니다. 마지막으로, 데이터 세트 분석에 도움이 되는 WIMBD 툴(Elazar et al., 2023)도 오픈 소스화했습니다.