关于量化8bits的推理速度

#31
by hanswang73 - opened

为啥量化8bits后 ...quantize(8).cuda(),推理速度比未量化的,慢了很多?量化8bits的推理速度能达到未量化时的水平吗?

Sign up or log in to comment