感谢您的工作!
问题:仓库内的模型均为量化后的模型,能否再进行 LORA 训练?
我看官方的 wiki 上面写的是 alpaca 需要使用 sft 指令精调,但是还是需要指定 chinese-alpaca-lora,这个基础的 lora 是通过 alpaca-lora 项目做的吗?我们可以在 chinese-alpaca-lora 合并后的量化模型上直接进行 lora 训练吗
· Sign up or log in to comment