Lora和RLHF训练的代码开源了吗

#14
by tenghg - opened

我想学习一下

300 开

load peft model时can't find adaptor_config.json如何解决

300心开源

目录未设置对啊,单独下载压缩包解压后使用

我用AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", cache_dir="模型目录", trust_remote_code=True).cuda(),
未能把模型加载到gpu上,似乎.cuda()不起效果。但是使用device_map参数
AutoModel.from_pretrained("fb700/chatglm-fitness-RLHF", cache_dir="模型目录", trust_remote_code=True, device_map="auto")
就可以加载到gpu,这是什么原因

加载方式和glm一样,能用就行

快300了,该开就开一下吧,等好久了

确实 黄花菜都凉了

Owner

我已经很久没有训练了,哥们还惦记啊,现在新模型这么多,训练意义不大了啊

Sign up or log in to comment