Zhenghao Lin designed and implemented detailed token selection process, conducted extensive preliminary experiments, developed the pre-training and evaluation pipeline, conducted most of the pre-training experiments and analysis, implemented baselines, and significantly contributed to the writing. Zhibin Gou presented a preliminary proposal, introduced the method of using excess loss for reweighting tokens, compiled high-quality corpora, trained reference models, set up the fine-tuning and evaluation pipelines, designed the experimental analysis, and significantly contributed to the writing. Yeyun Gong proposed the initial project and co-led the project with Weizhu Chen, they offered extensive advice and guidance on experiments and writing, and oversaw team collaboration and resource management. Xiao Liu, Yelong Shen, Ruochen Xu, Chen Lin, Yujiu Yang, Jian Jiao, and Nan Duan offered research mentorship, coordinated the project, and contributed to the writing.
Zhenghao Lin은 세부 토큰 선택 프로세스를 설계 및 구현하고, 광범위한 예비 실험을 수행하고, pre-training 및 평가 파이프라인을 개발하고, 대부분의 pre-training 실험 및 분석을 수행하고, baselines를 구현하고, 글쓰기에 크게 기여했습니다. Zhibin Gou는 예비 제안을 제시하고, 토큰 재가중치를 위해 초과 loss를 사용하는 방법을 소개하고, 고품질 corpora를 컴파일하고, 참조 모델을 훈련하고, Fine-tuning 및 평가 파이프라인을 설정하고, 실험 분석을 설계하고, 글쓰기에 크게 기여했습니다. Yeyun Gong은 초기 프로젝트를 제안하고 Weizhu Chen과 함께 프로젝트를 공동 주도하여 실험과 글쓰기에 대한 광범위한 조언과 지도를 제공했으며, 팀 협업과 리소스 관리를 감독했습니다. Xiao Liu, Yelong Shen, Ruochen Xu, Chen Lin, Yujiu Yang, Jian Jiao, Nan Duan은 연구 멘토링을 제공하고, 프로젝트를 조정하며, 글쓰기에 기여했습니다.
Zhenghao Lin은 세부 토큰 선택 프로세스를 설계 및 구현하고, 광범위한 예비 실험을 수행하고, 사전 학습 및 평가 파이프라인을 개발하고, 대부분의 사전 학습 실험 및 분석을 수행하고, 베이스라인을 구현하고, 글쓰기에 크게 기여했습니다. Zhibin Gou는 예비 제안을 제시하고, 토큰 재가중치를 위해 초과 손실을 사용하는 방법을 소개하고, 고품질 말뭉치를 컴파일하고, 참조 모델을 훈련하고, 미세 조정 및 평가 파이프라인을 설정하고, 실험 분석을 설계하고, 글쓰기에 크게 기여했습니다. 예윤공은 초기 프로젝트를 제안하고 위주첸과 함께 프로젝트를 공동 주도하여 실험과 글쓰기에 대한 광범위한 조언과 지도를 제공했으며, 팀 협업과 리소스 관리를 감독했습니다. 샤오 리우, 옐롱 셴, 루오첸 쉬, 첸 린, 유지우 양, 지안 자오, 난 두안은 연구 멘토링을 제공하고, 프로젝트를 조정하며, 글쓰기에 기여했습니다.