请问, 模型量化后如何保存,直接使用 save_pretrained 保存下来的不太正确只有1.3G
#22
by
agoto
- opened
model = AutoModelForCausalLM.from_pretrained(raw_model_dir, torch_dtype=torch.float16, trust_remote_code=True)
tokenizer.save_pretrained(quantize_model_dir)
model = model.quantize(8)
model.save_pretrained(quantize_model_dir)
保存完之后 只有一个 pytorch_model.bin (1.3G)
谢谢
不应该吧，我也是这么操作的，是可以的。
model = AutoModelForCausalLM.from_pretrained(raw_model_dir, torch_dtype=torch.float16, trust_remote_code=True)
tokenizer.save_pretrained(quantize_model_dir)
model = model.quantize(8)
model.save_pretrained(quantize_model_dir)
保存完之后 只有一个 pytorch_model.bin (1.3G)谢谢
你好 请问一下这个问题解决了嘛？我保存的结果也是只有1.3G