Mini-Chinese-Phi3是一个基于phi3模型结构的小型对话模型，总参数量约0.13B，使用常见的中文语料进行预训练和微调。主要内容包括了
- 数据集的整理与简单清洗
- 中文词表预训练
- 基于phi3结构的模型预训练
- 基于预训练模型的指令微调（SFT），包括了全量微调和LoRA微调
- 基于指令微调模型的直接偏好优化（DPO）
- 模型评测 （待做）
项目中的所有训练过程均在两张3090显卡上进行，使用DeepSpeed框架和Flash Attention 2进行加速，预训练用时约40小时，SFT和DPO微调共用时约8小时。本项目是我在学习LLM过程中的一个简单实践，同时也希望能够帮助到同样初学大模型的小伙伴。
项目训练细节等已在Github上开源，欢迎大家提出宝贵意见和建议。项目地址
- Downloads last month
- 268
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.