boboliu/Qwen2-7B-Instruct-FP8-CN

Qwen2-7B-Instruct Quantized with AutoFP8

使用 larryvrh/belle_resampled_78K_CN 校准静态量化的 Qwen/Qwen2-7B-Instruct 模型。

主要为中文通常语言逻辑任务，为 vLLM 准备。

评估

使用 lm-evaluation-harness + vLLM 进行评估：

项目	Qwen2-7B-Instruct	此项目	Recovery
ceval-valid	81.87	81.65	99.73%
cmmlu	81.78	81.26	99.36%
agieval_logiqa_zh (5 shots)	47.63	48.54	101.91%
平均	70.43	70.48	100.07%