启动加载很慢,需要130秒

#5
by devillaws - opened

启动加载很慢,需要130秒,这是什么原因

正常如不需要量化应该在30秒,如果需要量化的确需要这么长时间

感谢解答,原来是因为我量化了

请问作者有打算出int4版本么

量化后模型能力下降过多,体验不好。

fb700 changed discussion status to closed
fb700 changed discussion status to open

Sign up or log in to comment