dahara1 commited on
Commit
43e6d39
1 Parent(s): 391c292

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +17 -6
README.md CHANGED
@@ -23,20 +23,31 @@ This page confirms the effectiveness of multilingual imatrix.
23
 
24
 
25
  ![wiki.test.raw_perplexity_score.png](wiki.test.raw_perplexity_score.png)
26
- Measurements using English wiki.test.raw show that imatrix contributes to the score.
27
- 英語のwiki.test.rawを使った計測ではimatrixがスコアに貢献する事がわかった
28
 
29
  ![ja-wiki.test.raw_perplexity_score.png](ja-wiki.test.raw_perplexity_score.png)
30
 
31
- Measurements using Japanese ja-wiki.test.raw data showed that L/fp16 quants contributed to the score.
32
- 日本語のja-wiki.test.rawデータを使った計測ではL/fp16クォンツがスコアに貢献する事がわかった
 
 
 
 
 
 
 
 
 
 
 
 
 
33
 
34
  ## 用語集 Terminology
35
 
36
  Importance Matrix (imatrix)
37
  An "imatrix" is a data structure used to optimize the quantization of a model. You create one by passing text to the [llama-imatrix](https://github.com/ggerganov/llama.cpp/tree/master/examples/imatrix) command.
38
-
39
- 重要行列(imatrix)
40
  「imatrix」は、モデルの量子化を最適化するために使用されるデータ構造です。[llama-imatrix](https://github.com/ggerganov/llama.cpp/tree/master/examples/imatrix)コマンドにテキストを与えて作成します
41
 
42
  wiki.test.raw score
 
23
 
24
 
25
  ![wiki.test.raw_perplexity_score.png](wiki.test.raw_perplexity_score.png)
26
+ Measurements using English wiki.test.raw suggest that imatrix improves perplexity scores.
27
+ 英語のwiki.test.rawを使った計測ではimatrixがperplexityスコアを向上させる事が示唆された
28
 
29
  ![ja-wiki.test.raw_perplexity_score.png](ja-wiki.test.raw_perplexity_score.png)
30
 
31
+ Measurements using Japanese ja-wiki.test.raw data suggest that L/fp16 quants improve scores.
32
+ 日本語のja-wiki.test.rawデータを使った計測ではL/fp16クォンツがスコアを向上させる事が示唆された
33
+
34
+ | Model | wiki.test.raw Perplexity | ja-wiki.test.raw Perplexity |
35
+ |----------------------|--------------------------|-----------------------------|
36
+ | bartowski M | 8.8140 | 17.2091 |
37
+ | bartowski L | 8.8137 | 17.1035 |
38
+ | bartowski fp16 | 8.8146 | 17.0946 |
39
+ | imatrix-jpn-test M | 8.8231 | 17.2069 |
40
+ | imatrix-jpn-test L | 8.8193 | 17.0931 |
41
+ | imatrix-jpn-test fp16| 8.8198 | 17.0877 |
42
+ | no imatrix M | 8.8885 | 17.3948 |
43
+ | no imatrix L | 8.8938 | 17.2974 |
44
+ | no imatrix fp16 | 8.8887 | 17.2740 |
45
+
46
 
47
  ## 用語集 Terminology
48
 
49
  Importance Matrix (imatrix)
50
  An "imatrix" is a data structure used to optimize the quantization of a model. You create one by passing text to the [llama-imatrix](https://github.com/ggerganov/llama.cpp/tree/master/examples/imatrix) command.
 
 
51
  「imatrix」は、モデルの量子化を最適化するために使用されるデータ構造です。[llama-imatrix](https://github.com/ggerganov/llama.cpp/tree/master/examples/imatrix)コマンドにテキストを与えて作成します
52
 
53
  wiki.test.raw score