
## 介绍
1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
2. falcon-7b是支持中文语言的。

## 效果
1. 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。
2. 这里分享我的bloom-7b-v2模型权重[https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2](https://huggingface.co/yuanzhoulvpi/chinese_bloom_7b_chat_v2)


## 说个冷知识
1. falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码[https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom](https://github.com/yuanzhoulvpi2017/zero_nlp/tree/main/chinese_bloom)
{"language": ["zh"], "datasets": ["BelleGroup/train_3.5M_CN", "BelleGroup/train_2M_CN"]}
transformers pytorch RefinedWebModel text-generation custom_code zh dataset:BelleGroup/train_3.5M_CN dataset:BelleGroup/train_2M_CN autotrain_compatible text-generation-inference region:us
TAGS
#transformers #pytorch #RefinedWebModel #text-generation #custom_code #zh #dataset-BelleGroup/train_3.5M_CN #dataset-BelleGroup/train_2M_CN #autotrain_compatible #text-generation-inference #region-us 


## 介绍
1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
2. falcon-7b是支持中文语言的。

## 效果
1. 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。
2. 这里分享我的bloom-7b-v2模型权重https://URL


## 说个冷知识
1. falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码https://URL
## 介绍
1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
2. falcon-7b是支持中文语言的。 ## 效果
1. 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。
2. 这里分享我的bloom-7b-v2模型权重https://URL ## 说个冷知识
1. falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码https://URL
TAGS
#transformers #pytorch #RefinedWebModel #text-generation #custom_code #zh #dataset-BelleGroup/train_3.5M_CN #dataset-BelleGroup/train_2M_CN #autotrain_compatible #text-generation-inference #region-us 
 ## 介绍
1. 使用了大概几万条的数据，对falcon-7b模型做了sft，这里分享出我的模型权重
2. falcon-7b是支持中文语言的。 ## 效果
1. 效果其实一般，没有bloom-7b效果好。有人甚至反映，连bloom-1b都干不过。
2. 这里分享我的bloom-7b-v2模型权重https://URL ## 说个冷知识
1. falcon-7b模型，在结构上是和bloom差不多的，但是添加了RotaryEmbedding、memorry_efficient_attention。
2. 因此如果想要对falcon-7b做sft的话，可以看我之前训练bloom的代码https://URL