bloom的基础模型不够强大, 推荐可以用qwen重新训练下, 而且qwen现在基础模型支持8k
#1
by
hantian
- opened
https://huggingface.co/Qwen/Qwen-1_8B
例如1.8b的qwen, 支持8k输入, 基础模型在中英上都比bloom强大很多
您好，感谢建议！内部之前大概有相关实验。
我最近补完新的实验后，会做一下qwen等模型，公开评测。
我这里主要考虑的是更多语言支持，所以目前只有bloom。
是的, 如果做很多语言的翻译之类的, 开源范围内目前只能选择bloom, bloom处理翻译的能力已经很强了, 但是对于语义的理解落后新的模型很多.
但其实中英已经可以处理绝大部分场景了
This comment has been hidden