现在我测了A10大概1s钟 10个汉字左右，有办法加速么？或者并发
A10跑的int8的版本吗？
我试过vllm，效果变差了不少，而且不稳定，大家有遇到吗
· Sign up or log in to comment
