Qwen

/

Qwen-7B-Chat

like 745

刚开始用的亚马逊G4来做部署的， 16G显存，Tesla T4 启动的时候爆显存了。没有启动起来。
后来换用G5.xlarge来做部署，24G显存，A10G 正常启动了。
效果还算不错。 毕竟是中文语言模型。 用的就是舒心
AWS 官方Ubuntu22.04 LTS +nvidia驱动+ cuda11.7