内存和显存有什么要求
13B 需要量化 之后才能在 16G 以下的显存上部署,量化需要cuda() 函数支持,而 A 卡目前是不支持 cuda 的,所以也不支持baichuan-inc/Baichuan-13B-Chat 的
· Sign up or log in to comment