zgce
/

acsr-v2-yi34b-4bpw-hb6-exl2

Text Generation

text-generation-inference

Inference Endpoints

Model card Files Files and versions Community

zgce commited on Nov 25, 2023

Commit

faa7209

•

1 Parent(s): 4c6e547

Update README.md

Files changed (1) hide show

README.md +1 -1

README.md CHANGED Viewed

@@ -10,7 +10,7 @@ license: mit
 - Instruction template: ChatML
 - Origin max token size: 4096
 - 在使用text-generation-webui作后台，SillyTavern做前端时，webui上MaxToken调到8K时SillyTavern的MaxToken要调整到18K，WebUI才不会提前截断
-- 在SillyTavern上要得到Roleplay样式的长回复
   - 使用ChatML作为指令格式
   - 最后输出序列调整为 `### Response (2 paragraphs, engaging, natural, authentic, descriptive, creative):`
   - 自定义停止符调整为 `["<|im_end|>用户\n", "\n### Input"]`

 - Instruction template: ChatML
 - Origin max token size: 4096
 - 在使用text-generation-webui作后台，SillyTavern做前端时，webui上MaxToken调到8K时SillyTavern的MaxToken要调整到18K，WebUI才不会提前截断
+- 在SillyTavern上要得到Roleplay样式的长回复需做如下调整
   - 使用ChatML作为指令格式
   - 最后输出序列调整为 `### Response (2 paragraphs, engaging, natural, authentic, descriptive, creative):`
   - 自定义停止符调整为 `["<|im_end|>用户\n", "\n### Input"]`