BAAI
/

ldwang commited on
Commit
8de7413
1 Parent(s): 56aec23

Update README_zh.md

Browse files
Files changed (1) hide show
  1. README_zh.md +48 -33
README_zh.md CHANGED
@@ -2,47 +2,43 @@
2
  license: other
3
  ---
4
 
5
-
6
  ![Aquila_logo](./log.jpeg)
7
 
8
-
9
  <h4 align="center">
10
  <p>
11
- <a href="https://huggingface.co/BAAI/Aquila2-34B/blob/main/README.md">English</a>
12
  <b>简体中文</b> |
13
- </p>
14
  </h4>
15
 
16
 
17
- <p align="center">
18
- <a href="https://github.com/FlagAI-Open/Aquila2" target="_blank">Github</a> • <a href="https://github.com/FlagAI-Open/Aquila2/blob/main/assets/wechat-qrcode.jpg" target="_blank">WeChat</a> <br>
19
- </p>
20
-
21
  # 悟道·天鹰(Aquila2)
22
 
23
  我们开源了我们的 **Aquila2** 系列,现在包括基础语言模型 **Aquila2-7B** 和 **Aquila2-34B** ,对话模型 **AquilaChat2-7B** 和 **AquilaChat2-34B**,长文本对话模型**AquilaChat2-7B-16k** 和 **AquilaChat2-34B-16k**
24
 
25
- 基于Aquila2初始版本的开发经验,我们对Aquila2进行了全面升级并发布1.2版本。评测结果显示,
26
- Aquila2基础模型综合客观评测提升 6.9%,Aquila2-34B v1.2 在 MMLU、TruthfulQA、CSL、TNEWS、OCNLI、BUSTM 等考试、
27
- 理解及推理评测数据集上的评测结果分别增加 12%、14%、11%、12%、28%、18%。
28
-
29
  悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。
30
 
31
- 注:发现在预训练任务数据集中存在GSM8K测试数据泄露问题,从评测结果中删除GSM8K的评估结果。
 
 
 
 
 
 
 
 
 
 
 
 
 
32
 
33
- 经彻查分析,数据泄露发生于某多次合作数据团队所推荐的数学数据集A(超过2百万样本),其包含未经过处理的GSM8K测试集(1319样本)。团队只进行了常规去重和质量检测,未就是否混入GSM8K测试数据进行额外过滤检查而导致失误,实为工作中的疏漏。
34
 
35
- 团队一直严格遵循训练数据不能包含测试数据的工作原则。汲取本次因未对外部数据来源进行查证而发生的失误教训,我们在2万亿token全量数据上完成了针对21个测试数据集的排查,所涉数据集包括WTM22(en-zh)、CLUEWSC、winograde、HellaSwag、OpenBookQA、PIQA、ARC-e、BUSTSM、BoolQ、TruthfulQA、RAFT、ChID、EPRSTMT、TNEWS、OCNLI、SEM-Chinese、MMLU、C-Eval、CMMLU、CSL和HumanEval。
36
 
37
- ## 对话模型性能
38
 
39
- <br>
40
- <p align="center">
41
- <img src="base_metrics_CN.jpeg" width="1024"/>
42
- <p>
43
- <br>
44
 
45
- ## 快速开始使用 Aquila2-34B
 
46
 
47
 
48
  ## 使用方式/How to use
@@ -50,25 +46,44 @@ Aquila2基础模型综合客观评测提升 6.9%,Aquila2-34B v1.2 在 MMLU、
50
  ### 1. 推理/Inference
51
 
52
  ```python
53
- from transformers import AutoTokenizer, AutoModelForCausalLM
54
  import torch
55
- device = torch.device("cuda")
56
- model_info = "BAAI/Aquila2-34B"
57
- tokenizer = AutoTokenizer.from_pretrained(model_info, trust_remote_code=True)
58
- model = AutoModelForCausalLM.from_pretrained(model_info, trust_remote_code=True)
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
59
  model.eval()
 
60
  model.to(device)
61
- text = "请给出10个要到北京旅游的理由。"
 
 
62
  tokens = tokenizer.encode_plus(text)['input_ids']
63
  tokens = torch.tensor(tokens)[None,].to(device)
64
- stop_tokens = ["###", "[UNK]", "</s>"]
65
  with torch.no_grad():
66
- out = model.generate(tokens, do_sample=True, max_length=512, eos_token_id=100007, bad_words_ids=[[tokenizer.encode(token)[0] for token in stop_tokens]])[0]
67
- out = tokenizer.decode(out.cpu().numpy().tolist())
68
- print(out)
69
  ```
70
 
71
 
72
  ## 证书/License
73
 
74
- Aquila2系列开源模型使用 [智源Aquila系列模型许可协议](https://huggingface.co/BAAI/Aquila2-34B/blob/main/BAAI-Aquila-Model-License%20-Agreement.pdf)
 
2
  license: other
3
  ---
4
 
 
5
  ![Aquila_logo](./log.jpeg)
6
 
 
7
  <h4 align="center">
8
  <p>
9
+ <a href="https://huggingface.co/BAAI/Aquila2-7B/blob/main/README.md">English</a> |
10
  <b>简体中文</b> |
11
+ <p>
12
  </h4>
13
 
14
 
 
 
 
 
15
  # 悟道·天鹰(Aquila2)
16
 
17
  我们开源了我们的 **Aquila2** 系列,现在包括基础语言模型 **Aquila2-7B** 和 **Aquila2-34B** ,对话模型 **AquilaChat2-7B** 和 **AquilaChat2-34B**,长文本对话模型**AquilaChat2-7B-16k** 和 **AquilaChat2-34B-16k**
18
 
 
 
 
 
19
  悟道 · 天鹰 Aquila 模型的更多细节将在官方技术报告中呈现。请关注官方渠道更新。
20
 
21
+ ## 更新/Updates 2024.6.6
22
+
23
+ 我们更新了基础语言模型 **Aquila2-34B**,该模型是基于原版模型经过继续训练得到的,和之前的模型相比,新的模型具备以下优势:
24
+
25
+ * 更换了具备更大压缩率的tokenizer,不同tokenizer的压缩率对比如下面表格:
26
+
27
+ | Tokenizer | Size | Zh | En | Code | Math | Average |
28
+ |-----------|-------|--------------------------|--------|-------|-------|---------|
29
+ | Aquila2-original | 100k | **4.70** | 4.42 | 3.20 | 3.77 | 4.02 |
30
+ | Qwen1.5 | 151k | 4.27 | 4.51 | 3.62 | 3.35 | 3.94 |
31
+ | Llama3 | 128k | 3.45 | **4.61** | 3.77 | **3.88** | 3.93 |
32
+ | Aquila2-new | 143k | 4.60 | **4.61** | **3.78** | **3.88** | **4.22** |
33
+
34
+ * 模型支持的最大处理长度从2048增加至8192
35
 
 
36
 
 
37
 
 
38
 
 
 
 
 
 
39
 
40
+
41
+ ## 快速开始使用 Aquila-7B
42
 
43
 
44
  ## 使用方式/How to use
 
46
  ### 1. 推理/Inference
47
 
48
  ```python
 
49
  import torch
50
+ from transformers import AutoModelForCausalLM, AutoTokenizer
51
+ from transformers import BitsAndBytesConfig
52
+
53
+ device= "cuda:0"
54
+
55
+ # 模型名称/Model Name
56
+ model_name = 'BAAI/Aquila2-34B'
57
+
58
+ # 加载模型以及tokenizer
59
+ quantization_config=BitsAndBytesConfig(
60
+ load_in_4bit=True,
61
+ bnb_4bit_use_double_quant=True,
62
+ bnb_4bit_quant_type="nf4",
63
+ bnb_4bit_compute_dtype=torch.bfloat16,
64
+ )
65
+ model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.bfloat16, trust_remote_code=True,
66
+ # quantization_config=quantization_config # Uncomment this one for 4-bit quantization
67
+ )
68
+
69
+ tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True)
70
+
71
  model.eval()
72
+
73
  model.to(device)
74
+
75
+ # 对话测试样例/Example
76
+ text = "生命的意义是"
77
  tokens = tokenizer.encode_plus(text)['input_ids']
78
  tokens = torch.tensor(tokens)[None,].to(device)
79
+
80
  with torch.no_grad():
81
+ out = llama.generate(tokens, do_sample=False, max_length=128, eos_token_id=tokenizer.eos_token_id)[0]
82
+ out = tokenizer.decode(out.cpu().numpy().tolist())
83
+ print(out)
84
  ```
85
 
86
 
87
  ## 证书/License
88
 
89
+ `Aquila2系列开源模型使用 [智源Aquila系列模型许可协议](https://huggingface.co/BAAI/Aquila2-7B/blob/main/BAAI-Aquila-Model-License%20-Agreement.pdf)