Text Generation
Transformers
Safetensors
Chinese
English
qwen
conversational
custom_code
yuyijiong commited on
Commit
d9f586b
1 Parent(s): f257cbc

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -7,7 +7,7 @@ language:
7
  * 将Qwen模型的NTK插值方法替换为Yarn,同时适当缩小位置插值的缩放因子,实现了模型在更长文本长度(大于16k)下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
8
  * 目前仅提供 modeling_qwen.py 代码,用此py文件替换原Qwen模型的modeling_qwen.py即可,其它使用方法不变。模型权重与原Qwen模型相同。
9
  * 未来可能会发布微调的权重。
10
- * 使用时请务必设置 config.use_logn_attn=False、config.use_dynamic_ntk=True,否则模型能力会受影响。
11
  ```python
12
  config=AutoConfig.from_pretrained("Qwen/Qwen-14B-Chat", trust_remote_code=True,use_dynamic_ntk=True,use_logn_attn=False,torch_dtype=torch.bfloat16)
13
  model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-14B-Chat", device_map="auto", trust_remote_code=True,config=config)
 
7
  * 将Qwen模型的NTK插值方法替换为Yarn,同时适当缩小位置插值的缩放因子,实现了模型在更长文本长度(大于16k)下的正常对话能力。原版Qwen在16k文本长度下无法正常输出。
8
  * 目前仅提供 modeling_qwen.py 代码,用此py文件替换原Qwen模型的modeling_qwen.py即可,其它使用方法不变。模型权重与原Qwen模型相同。
9
  * 未来可能会发布微调的权重。
10
+ * 使用此模型时会自动设置 config.use_logn_attn=False、config.use_dynamic_ntk=True
11
  ```python
12
  config=AutoConfig.from_pretrained("Qwen/Qwen-14B-Chat", trust_remote_code=True,use_dynamic_ntk=True,use_logn_attn=False,torch_dtype=torch.bfloat16)
13
  model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen-14B-Chat", device_map="auto", trust_remote_code=True,config=config)