Update README.md
Browse files
README.md
CHANGED
@@ -78,7 +78,7 @@ Example:
|
|
78 |
- Please note that the imatrix-jpn-test model uses 5 times as much text for the imatrix as the bartowski model. There is a possibility that the performance may be slightly increased simply because there is more text.
|
79 |
- In reality, it is better to measure performance with real tasks rather than perplexity. However, there are many different benchmarks for real tasks, so I will leave it up to you to verify this.
|
80 |
|
81 |
-
- モデルによってこの結果は異なってくる可能性があります。あらゆるモデルに通用する結果とはまだ思わない方がよいです。特にgemmaはL/
|
82 |
- ほぼ同等の条件でも微妙にスコアが増減する事があります。わずかな差に注目するのではなく傾向に注目する事が望ましいです
|
83 |
- imatrix-jpn-testモデルはbartowskiモデルに比べてimatrixに5倍のテキストを使用している事に留意してください。単純にテキストが多いため性能が微妙に増えている可能性があります
|
84 |
- 本来はperplexityではなく実タスクで性能を測定する事が望ましいです。しかし、実タスクのベンチマークも多様なのでその検証は皆さんにお任せします
|
@@ -104,8 +104,11 @@ The following information may be helpful in your further exploration.
|
|
104 |
|
105 |
### 謝辞 Acknowledgements
|
106 |
|
|
|
107 |
Thanks to the llama.cpp community.
|
108 |
llama.cppのコミュニティの皆さんに感謝します。
|
|
|
|
|
109 |
Thanks to u/noneabove1182 for the advice and motivation.
|
110 |
アドバイスとモチベーションをくれたu/noneabove1182に感謝します
|
111 |
|
@@ -114,15 +117,17 @@ I do not know all the inventors of each method, so please point out any that I h
|
|
114 |
|
115 |
- **Developed by:** [dahara1@webbigdata]
|
116 |
- **Language(s) (NLP):** [English, Japanese]
|
117 |
-
- **
|
118 |
|
119 |
|
120 |
**BibTeX:**
|
|
|
121 |
@misc{dahara2024imatrix,
|
122 |
-
author = {
|
123 |
title = {IMatrix JPN Test: A Multilingual Model for Improved Performance},
|
124 |
year = {2024},
|
125 |
howpublished = {\url{https://huggingface.co/dahara1/imatrix-jpn-test}},
|
126 |
note = {Accessed: 2024-09-23},
|
127 |
abstract = {This model demonstrates the effectiveness of using a multilingual imatrix for model quantization, especially for improving performance in Japanese and other non-English languages.},
|
128 |
-
}
|
|
|
|
78 |
- Please note that the imatrix-jpn-test model uses 5 times as much text for the imatrix as the bartowski model. There is a possibility that the performance may be slightly increased simply because there is more text.
|
79 |
- In reality, it is better to measure performance with real tasks rather than perplexity. However, there are many different benchmarks for real tasks, so I will leave it up to you to verify this.
|
80 |
|
81 |
+
- モデルによってこの結果は異なってくる可能性があります。あらゆるモデルに通用する結果とはまだ思わない方がよいです。特にgemmaはL/fp16クォンツで性能が向上すると言われています
|
82 |
- ほぼ同等の条件でも微妙にスコアが増減する事があります。わずかな差に注目するのではなく傾向に注目する事が望ましいです
|
83 |
- imatrix-jpn-testモデルはbartowskiモデルに比べてimatrixに5倍のテキストを使用している事に留意してください。単純にテキストが多いため性能が微妙に増えている可能性があります
|
84 |
- 本来はperplexityではなく実タスクで性能を測定する事が望ましいです。しかし、実タスクのベンチマークも多様なのでその検証は皆さんにお任せします
|
|
|
104 |
|
105 |
### 謝辞 Acknowledgements
|
106 |
|
107 |
+
|
108 |
Thanks to the llama.cpp community.
|
109 |
llama.cppのコミュニティの皆さんに感謝します。
|
110 |
+
Thanks to the Google Gemma-2.
|
111 |
+
google gemma-2に感謝します
|
112 |
Thanks to u/noneabove1182 for the advice and motivation.
|
113 |
アドバイスとモチベーションをくれたu/noneabove1182に感謝します
|
114 |
|
|
|
117 |
|
118 |
- **Developed by:** [dahara1@webbigdata]
|
119 |
- **Language(s) (NLP):** [English, Japanese]
|
120 |
+
- **base model [optional]:** [gemma-2-9b-it]
|
121 |
|
122 |
|
123 |
**BibTeX:**
|
124 |
+
```
|
125 |
@misc{dahara2024imatrix,
|
126 |
+
author = {dahara1@webbigdata},
|
127 |
title = {IMatrix JPN Test: A Multilingual Model for Improved Performance},
|
128 |
year = {2024},
|
129 |
howpublished = {\url{https://huggingface.co/dahara1/imatrix-jpn-test}},
|
130 |
note = {Accessed: 2024-09-23},
|
131 |
abstract = {This model demonstrates the effectiveness of using a multilingual imatrix for model quantization, especially for improving performance in Japanese and other non-English languages.},
|
132 |
+
}
|
133 |
+
```
|