你好大佬,想请教个问题

#3
by binganao - opened

感谢您的工作!

问题:仓库内的模型均为量化后的模型,能否再进行 LORA 训练?

我看官方的 wiki 上面写的是 alpaca 需要使用 sft 指令精调,但是还是需要指定 chinese-alpaca-lora,这个基础的 lora 是通过 alpaca-lora 项目做的吗?
我们可以在 chinese-alpaca-lora 合并后的量化模型上直接进行 lora 训练吗

Sign up or log in to comment