跑这个需要什么机器配置,AMD 68xt能行?

#18
by xebk - opened

内存和显存有什么要求

13B 需要量化 之后才能在 16G 以下的显存上部署,量化需要cuda() 函数支持,而 A 卡目前是不支持 cuda 的,所以也不支持baichuan-inc/Baichuan-13B-Chat 的

Sign up or log in to comment