IDEA-CCNL

/

Ziya-LLaMA-13B-v1

like 272

Follow

Fengshenbang-LM 241

gen.py的内容如下

解决了吗

解决了吗

是否合并了原始的llama权重

是llama-2-13b和Ziya-LLaMA-13B-v1合并，还是和Ziya-LLaMA-13B-v1.1合并呢

是llama-2-13b和Ziya-LLaMA-13B-v1合并，还是和Ziya-LLaMA-13B-v1.1合并呢

和llama-1-13b合并，可以使用https://huggingface.co/Qianguo/ziya-13B-v1.1-full-weight

谢谢，我去试试

建议使用Ziya2-13B，这个是完整的权重不需要合并：https://huggingface.co/IDEA-CCNL/Ziya2-13B-Base

感谢

请问llama-1-13b怎么下载啊，我只找到了llama-2系列的模型😭

请问这个解决了吗

这个模型需要和llama-1-13b合并，合并后输出就不乱码了

这个模型需要和llama-1-13b合并，合并后输出就不乱码了

姜子牙用的不是llama2 的权重吗？

还有请问一下，合并用的是哪个步骤？

这个文件先转换llama-1-13b模型
https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/convert_llama_weights_to_hf.py
再用下面这个文件合并
https://github.com/IDEA-CCNL/Fengshenbang-LM/blob/main/fengshen/utils/apply_delta.py

这个步骤做过了。使用的是llama-2-13b . 是因为使用llama-2-13b 引起的乱码吗？

我原本也用的llama-2，但是乱码，换成llama-1就正常了

请问一下llama-1 权重也是向meta申请的吗？

大佬，可否分享一下llama-1-13b的权重

向meta申请速度太慢了

这个步骤做过了。使用的是llama-2-13b . 是因为使用llama-2-13b 引起的乱码吗？

没错