Update README_zh.md
Browse files- README_zh.md +48 -33
README_zh.md
CHANGED
@@ -2,47 +2,43 @@
|
|
2 |
license: other
|
3 |
---
|
4 |
|
5 |
-
|
6 |
![Aquila_logo](./log.jpeg)
|
7 |
|
8 |
-
|
9 |
<h4 align="center">
|
10 |
<p>
|
11 |
-
<a href="https://huggingface.co/BAAI/Aquila2-
|
12 |
<b>简体中文</b> |
|
13 |
-
|
14 |
</h4>
|
15 |
|
16 |
|
17 |
-
<p align="center">
|
18 |
-
<a href="https://github.com/FlagAI-Open/Aquila2" target="_blank">Github</a> • <a href="https://github.com/FlagAI-Open/Aquila2/blob/main/assets/wechat-qrcode.jpg" target="_blank">WeChat</a> <br>
|
19 |
-
</p>
|
20 |
-
|
21 |
# 悟道·天鹰(Aquila2)
|
22 |
|
23 |
我们开源了我们的 **Aquila2** 系列,现在包括基础语言模型 **Aquila2-7B** 和 **Aquila2-34B** ,对话模型 **AquilaChat2-7B** 和 **AquilaChat2-34B**,长文本对话模型**AquilaChat2-7B-16k** 和 **AquilaChat2-34B-16k**
|
24 |
|
25 |
-
基于Aquila2初始版本的开发经验,我们对Aquila2进行了全面升级并发布1.2版本。评测结果显示,
|
26 |
-
Aquila2基础模型综合客观评测提升 6.9%,Aquila2-34B v1.2 在 MMLU、TruthfulQA、CSL、TNEWS、OCNLI、BUSTM 等考试、
|
27 |
-
理解及推理评测数据集上的评测结果分别增加 12%、14%、11%、12%、28%、18%。
|
28 |
-
|
29 |
悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。
|
30 |
|
31 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
32 |
|
33 |
-
经彻查分析,数据泄露发生于某多次合作数据团队所推荐的数学数据集A(超过2百万样本),其包含未经过处理的GSM8K测试集(1319样本)。团队只进行了常规去重和质量检测,未就是否混入GSM8K测试数据进行额外过滤检查而导致失误,实为工作中的疏漏。
|
34 |
|
35 |
-
团队一直严格遵循训练数据不能包含测试数据的工作原则。汲取本次因未对外部数据来源进行查证而发生的失误教训,我们在2万亿token全量数据上完成了针对21个测试数据集的排查,所涉数据集包括WTM22(en-zh)、CLUEWSC、winograde、HellaSwag、OpenBookQA、PIQA、ARC-e、BUSTSM、BoolQ、TruthfulQA、RAFT、ChID、EPRSTMT、TNEWS、OCNLI、SEM-Chinese、MMLU、C-Eval、CMMLU、CSL和HumanEval。
|
36 |
|
37 |
-
## 对话模型性能
|
38 |
|
39 |
-
<br>
|
40 |
-
<p align="center">
|
41 |
-
<img src="base_metrics_CN.jpeg" width="1024"/>
|
42 |
-
<p>
|
43 |
-
<br>
|
44 |
|
45 |
-
|
|
|
46 |
|
47 |
|
48 |
## 使用方式/How to use
|
@@ -50,25 +46,44 @@ Aquila2基础模型综合客观评测提升 6.9%,Aquila2-34B v1.2 在 MMLU、
|
|
50 |
### 1. 推理/Inference
|
51 |
|
52 |
```python
|
53 |
-
from transformers import AutoTokenizer, AutoModelForCausalLM
|
54 |
import torch
|
55 |
-
|
56 |
-
|
57 |
-
|
58 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
59 |
model.eval()
|
|
|
60 |
model.to(device)
|
61 |
-
|
|
|
|
|
62 |
tokens = tokenizer.encode_plus(text)['input_ids']
|
63 |
tokens = torch.tensor(tokens)[None,].to(device)
|
64 |
-
|
65 |
with torch.no_grad():
|
66 |
-
|
67 |
-
|
68 |
-
|
69 |
```
|
70 |
|
71 |
|
72 |
## 证书/License
|
73 |
|
74 |
-
Aquila2系列开源模型使用 [智源Aquila系列模型许可协议](https://huggingface.co/BAAI/Aquila2-
|
|
|
2 |
license: other
|
3 |
---
|
4 |
|
|
|
5 |
![Aquila_logo](./log.jpeg)
|
6 |
|
|
|
7 |
<h4 align="center">
|
8 |
<p>
|
9 |
+
<a href="https://huggingface.co/BAAI/Aquila2-7B/blob/main/README.md">English</a> |
|
10 |
<b>简体中文</b> |
|
11 |
+
<p>
|
12 |
</h4>
|
13 |
|
14 |
|
|
|
|
|
|
|
|
|
15 |
# 悟道·天鹰(Aquila2)
|
16 |
|
17 |
我们开源了我们的 **Aquila2** 系列,现在包括基础语言模型 **Aquila2-7B** 和 **Aquila2-34B** ,对话模型 **AquilaChat2-7B** 和 **AquilaChat2-34B**,长文本对话模型**AquilaChat2-7B-16k** 和 **AquilaChat2-34B-16k**
|
18 |
|
|
|
|
|
|
|
|
|
19 |
悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。
|
20 |
|
21 |
+
## 更新/Updates 2024.6.6
|
22 |
+
|
23 |
+
我们更新了基础语言模型 **Aquila2-34B**,该模型是基于原版模型经过继续训练得到的,和之前的模型相比,新的模型具备以下优势:
|
24 |
+
|
25 |
+
* 更换了具备更大压缩率的tokenizer,不同tokenizer的压缩率对比如下面表格:
|
26 |
+
|
27 |
+
| Tokenizer | Size | Zh | En | Code | Math | Average |
|
28 |
+
|-----------|-------|--------------------------|--------|-------|-------|---------|
|
29 |
+
| Aquila2-original | 100k | **4.70** | 4.42 | 3.20 | 3.77 | 4.02 |
|
30 |
+
| Qwen1.5 | 151k | 4.27 | 4.51 | 3.62 | 3.35 | 3.94 |
|
31 |
+
| Llama3 | 128k | 3.45 | **4.61** | 3.77 | **3.88** | 3.93 |
|
32 |
+
| Aquila2-new | 143k | 4.60 | **4.61** | **3.78** | **3.88** | **4.22** |
|
33 |
+
|
34 |
+
* 模型支持的最大处理长度从2048增加至8192
|
35 |
|
|
|
36 |
|
|
|
37 |
|
|
|
38 |
|
|
|
|
|
|
|
|
|
|
|
39 |
|
40 |
+
|
41 |
+
## 快速开始使用 Aquila-7B
|
42 |
|
43 |
|
44 |
## 使用方式/How to use
|
|
|
46 |
### 1. 推理/Inference
|
47 |
|
48 |
```python
|
|
|
49 |
import torch
|
50 |
+
from transformers import AutoModelForCausalLM, AutoTokenizer
|
51 |
+
from transformers import BitsAndBytesConfig
|
52 |
+
|
53 |
+
device= "cuda:0"
|
54 |
+
|
55 |
+
# 模型名称/Model Name
|
56 |
+
model_name = 'BAAI/Aquila2-34B'
|
57 |
+
|
58 |
+
# 加载模型以及tokenizer
|
59 |
+
quantization_config=BitsAndBytesConfig(
|
60 |
+
load_in_4bit=True,
|
61 |
+
bnb_4bit_use_double_quant=True,
|
62 |
+
bnb_4bit_quant_type="nf4",
|
63 |
+
bnb_4bit_compute_dtype=torch.bfloat16,
|
64 |
+
)
|
65 |
+
model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, trust_remote_code=True,
|
66 |
+
# quantization_config=quantization_config # Uncomment this one for 4-bit quantization
|
67 |
+
)
|
68 |
+
|
69 |
+
tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
|
70 |
+
|
71 |
model.eval()
|
72 |
+
|
73 |
model.to(device)
|
74 |
+
|
75 |
+
# 对话测试样例/Example
|
76 |
+
text = "生命的意义是"
|
77 |
tokens = tokenizer.encode_plus(text)['input_ids']
|
78 |
tokens = torch.tensor(tokens)[None,].to(device)
|
79 |
+
|
80 |
with torch.no_grad():
|
81 |
+
out = llama.generate(tokens, do_sample=False, max_length=128, eos_token_id=tokenizer.eos_token_id)[0]
|
82 |
+
out = tokenizer.decode(out.cpu().numpy().tolist())
|
83 |
+
print(out)
|
84 |
```
|
85 |
|
86 |
|
87 |
## 证书/License
|
88 |
|
89 |
+
`Aquila2系列开源模型使用 [智源Aquila系列模型许可协议](https://huggingface.co/BAAI/Aquila2-7B/blob/main/BAAI-Aquila-Model-License%20-Agreement.pdf)
|