启动加载很慢,需要130秒,这是什么原因
正常如不需要量化应该在30秒,如果需要量化的确需要这么长时间
感谢解答,原来是因为我量化了
请问作者有打算出int4版本么
量化后模型能力下降过多,体验不好。
· Sign up or log in to comment