官方确定有测试过么？
#1
by
JamePeng2023
- opened
非常糟糕的中文表现，应该过拟合了
这种其实我认为更多是因为某个问题相关语料的缺乏导致，毕竟8B还太小，能记住的语料有限，另外，请问中国联通AI中心有社区的打算吗
非常糟糕的中文表现，应该过拟合了
什么时候下载的权重，昨天下午进行了更新。不过llama3中文语料太少，仅仅靠微调还是有很多中文知识回答不了的，后面会二次预训练加入中文数据
这种其实我认为更多是因为某个问题相关语料的缺乏导致，毕竟8B还太小，能记住的语料有限，另外，请问中国联通AI中心有社区的打算吗
是的，llama3本身中文语料少。社区考虑
非常糟糕的中文表现，应该过拟合了什么时候下载的权重，昨天下午进行了更新。不过llama3中文语料太少，仅仅靠微调还是有很多中文知识回答不了的，后面会二次预训练加入中文数据
凌晨3点半拉的权重，目前感觉用英文提问的中文回答还能接受，感觉是中文微调的数据量还没发激活原来英文的知识