请问加载模型后产出embedding很慢有什么办法么？
#15
by
EEik
- opened
使用model.encode处理长度约为几十万的string list，预估速度很慢
- 从 pytorch 实现转为 ONNX，参考这个讨论 [https://huggingface.co/moka-ai/m3e-base/discussions/12#64bf9ebaa0e547106693129c]
- 加机器，加 GPU ，从硬件角度来提升速度