请问能否提供EXL2量化版本?

#7
by Orion-zhen - opened

EXL2相较于GPTQ和AWQ, 有较低的模型和上下文显存占用, 更适合在消费端部署. 请问是否能提供EXL2量化版本? 例如4.0bpw

Sign up or log in to comment