使用128k长度运行报错,只要6万字长度
#17
by
loong
- opened
BadRequestError: Error code: 400 - {'object': 'error', 'message': "This model's maximum context length is 32768 tokens. However, you requested 37055 tokens in the messages, Please reduce the length of the messages.", 'type': 'BadRequestError', 'param': None, 'code': 400}
运行命令发一下
大概测试下来4万多字可以,再往上就报前面错误了 @ming1114
我也在github上提了,https://github.com/QwenLM/Qwen2/issues/717
因为你运行命令中是设置为: --max-model-len 32768,你超过这个长度肯定报错,你不设置,默认应该是128k ,但是推理服务不一定能加载启动得了,看你显存大小。在显存还算够用能加载启动得情况下,增加这个值,看看
增加这个就告诉我最大embeddings是32768怎么办啊