|
--- |
|
license: apache-2.0 |
|
--- |
|
|
|
# AiMed: Artificial Intelligence large language model for chinese Medicine 面向中文医学的人工智能大语言模型 |
|
[![License Apache 2.0](https://img.shields.io/badge/license-Apache%202.0-blue.svg)](LICENSE) |
|
[![python_version](https://img.shields.io/badge/Python-3.8%2B-green.svg)](requirements.txt) |
|
## 🔬 介绍 |
|
|
|
**AiMed** 面向中文医学的人工智能大语言模型由**清华大学OpenDE团队**和**中国医学科学院医学信息研究所**(下称“医信所”)联合研发。 |
|
|
|
**AiMed** 期望实现有效处理医学知识问答、医学论文阅读、医学文献检索等任务和在医学科研中的应用。 |
|
|
|
**AiMed** 详细测试脚本请参考我们的项目:https://github.com/Du-JinHua/AiMed |
|
|
|
## ⏩ 构建流程 |
|
|
|
**AiMed** 整个构建流程包括: |
|
- PT增量预训练 |
|
- SFT有监督微调 |
|
- AiMed_PaperAbs是AiMed系列模型中,通过从千万医学文献中提取高质量10万条摘要进行的论文摘要大模型微调版本。 |
|
- RLHF(奖励建模、强化学习训练) |
|
- DPO(直接偏好优化) |
|
|
|
## 🌏 模型基座 |
|
|
|
| 模型名 | 模型大小 | 开源参数 | |
|
| ------------------------------------------------------- | --------------------------- |-----------------------------------------------------------------------------------------| |
|
| [Baichuan](https://github.com/baichuan-inc/baichuan-13B) | 13B | [baichuan-inc/Baichuan-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan-13B-Chat) | |
|
|
|
## 😜 推理和部署 |
|
|
|
推理所需的模型权重、源码、配置公开于https://github.com/Du-JinHua/AiMed |
|
|
|
## ⚠️ 局限性 |
|
|
|
授权协议为 The Apache License 2.0,目前仅支持学术研究,不支持商业用途。 |