使用128k长度运行报错,只要6万字长度

#17
by loong - opened

BadRequestError: Error code: 400 - {'object': 'error', 'message': "This model's maximum context length is 32768 tokens. However, you requested 37055 tokens in the messages, Please reduce the length of the messages.", 'type': 'BadRequestError', 'param': None, 'code': 400}

运行命令发一下

用的vllm推理,修改了config:
python -m vllm.entrypoints.openai.api_server --model /ai/qwen2-7b-yarn --host 192.1**** --port 10860 --max-model-len 32768 --trust-remote-code --tensor-parallel-size 1 --dtype=half

0df42f11ad0986d9aea4c4fd5d23895a_b6944228975644ddb08e1d4851e89b22.png

大概测试下来4万多字可以,再往上就报前面错误了 @ming1114

我也在github上提了,https://github.com/QwenLM/Qwen2/issues/717

因为你运行命令中是设置为: --max-model-len 32768,你超过这个长度肯定报错,你不设置,默认应该是128k ,但是推理服务不一定能加载启动得了,看你显存大小。在显存还算够用能加载启动得情况下,增加这个值,看看

增加这个就告诉我最大embeddings是32768怎么办啊

Sign up or log in to comment