Text Generation
Transformers
PyTorch
skywork
custom_code
zhao1iang commited on
Commit
fd43302
1 Parent(s): 1f6dd27

fix latex formula error

Browse files
Files changed (1) hide show
  1. README.md +3 -5
README.md CHANGED
@@ -5,7 +5,6 @@ license_link: >-
5
  https://github.com/SkyworkAI/Skywork/blob/main/Skywork%20Community%20License.pdf
6
  ---
7
 
8
-
9
  <!-- <div align="center">
10
  <h1>
11
  ✨Skywork
@@ -105,11 +104,9 @@ We use Byte-Pair Encoding (BPE) to tokenize the data, with a vocabulary size of
105
  ## 领域数据困惑度评估(Perplexity Evaluaiton)
106
  语言模型训练的本质上是让预测下一个词更准确。基于这个认知,我们认为评估基础大模型一个重要的方式是评估在各大领域上语言模型生成文章的概率。在模型训练中预测下一个词的概率一般使用Cross Entropy损失函数,整体的损失函数为每个位置预测真实词损失的平均,则有:
107
 
108
- ```math
109
- loss = \sum^{n}_{i=1} log(p_i) / n = log( \prod_{i=1}^n p_i) / n
110
- ```
111
 
112
- 其中$`n`$是文档的长度,即token数,$`p_i`$是位置i上真实词的概率,我们知道文档中每一个位置上真实词的概率的联乘则为生成该文档的概率,如此我们就将loss和生成文章的概率联系在了一起。而不同模型因为使用的分词器不同,具有不同的token数,因此对损失函数乘以token数目$`n`$,这样就仅考虑生成文章的概率部分,不同模型也可以进行比较。我们将标准化后loss取指数转换成perplexity,使得模型的差异更加可读。为了阅读方便后续提到的loss和ppl为模型标准化后的loss和perplexity。
113
 
114
  基于上述分析,我们对对多个领域筛选出2023年10月份新发布的几百到上千篇高质量文章,并人工进行了核对。保证所有的测试数据不在天工模型以及其他所有模型的训练集中,并且测试数据的来源也足够广泛,质量也高。我们可以选取当前最新的文章评测不同模型的ppl,模型很难作弊。
115
  下图列出了不同开源模型,天工Skywork-13B-Base取得最优效果,证明了我们的Base模型的基础能力处于国内开源模型中文最强水平。
@@ -340,3 +337,4 @@ If you find our work helpful, please feel free to cite our paper~
340
  year={2023}
341
  }
342
  ```
 
 
5
  https://github.com/SkyworkAI/Skywork/blob/main/Skywork%20Community%20License.pdf
6
  ---
7
 
 
8
  <!-- <div align="center">
9
  <h1>
10
  ✨Skywork
 
104
  ## 领域数据困惑度评估(Perplexity Evaluaiton)
105
  语言模型训练的本质上是让预测下一个词更准确。基于这个认知,我们认为评估基础大模型一个重要的方式是评估在各大领域上语言模型生成文章的概率。在模型训练中预测下一个词的概率一般使用Cross Entropy损失函数,整体的损失函数为每个位置预测真实词损失的平均,则有:
106
 
107
+ $$loss = \sum^{n}_{i=1} log(p_i) / n = log( \prod_{i=1}^n p_i) / n$$
 
 
108
 
109
+ 其中$n$是文档的长度,即token数,$p_i$是位置i上真实词的概率,我们知道文档中每一个位置上真实词的概率的联乘则为生成该文档的概率,如此我们就将loss和生成文章的概率联系在了一起。而不同模型因为使用的分词器不同,具有不同的token数,因此对损失函数乘以token数目$n$,这样就仅考虑生成文章的概率部分,不同模型也可以进行比较。我们将标准化后loss取指数转换成perplexity,使得模型的差异更加可读。为了阅读方便后续提到的loss和ppl为模型标准化后的loss和perplexity。
110
 
111
  基于上述分析,我们对对多个领域筛选出2023年10月份新发布的几百到上千篇高质量文章,并人工进行了核对。保证所有的测试数据不在天工模型以及其他所有模型的训练集中,并且测试数据的来源也足够广泛,质量也高。我们可以选取当前最新的文章评测不同模型的ppl,模型很难作弊。
112
  下图列出了不同开源模型,天工Skywork-13B-Base取得最优效果,证明了我们的Base模型的基础能力处于国内开源模型中文最强水平。
 
337
  year={2023}
338
  }
339
  ```
340
+