Update README.md
Browse files
README.md
CHANGED
@@ -8,30 +8,36 @@ tags:
|
|
8 |
- llama.cpp
|
9 |
---
|
10 |
|
11 |
-
Gemmaベースの日英、英日ニューラル機械翻訳モデルである[webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter)をGPUがないPCでも動かせるようにggufフォーマットに変換したモデルです。
|
12 |
A Japanese-English and English-Japanese neural machine translation model, [webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter), converted to gguf format so that it can run on a PC without a GPU.
|
13 |
|
14 |
-
|
15 |
-
|
|
|
16 |
|
17 |
リンク先で[Open in Colab]ボタンを押してColabを起動してください
|
18 |
Press the [Open in Colab] button on the link to start Colab
|
19 |
[Colab Sample C3TR_Adapter_gguf_Free_Colab_sample](https://github.com/webbigdata-jp/python_sample/blob/main/C3TR_Adapter_gguf_Free_Colab_sample.ipynb)
|
20 |
|
21 |
-
|
22 |
-
|
23 |
-
|
|
|
|
|
24 |
|
25 |
- C3TR-Adapter.Q4_0.gguf 5.01 GB
|
26 |
- C3TR-Adapter.Q4_1.gguf 5.5 GB
|
27 |
- C3TR-Adapter.Q5_0.gguf 5.98 GB
|
28 |
- C3TR-Adapter.Q5_1.gguf 6.47 GB
|
29 |
- C3TR-Adapter.IQ3_M.gguf 3.9 GB (3.66 bpw quantization mix. 動作確認できた最も小さいモデル。The smallest model that has been confirmed to work)
|
30 |
-
- C3TR-Adapter.IQ1_S.gguf 2.16 GB (1.56 bpw quantization.
|
31 |
|
32 |
### サンプルコード(sample code)
|
33 |
|
34 |
-
|
|
|
|
|
|
|
35 |
その他のOSについては[llama.cpp公式サイト](https://github.com/ggerganov/llama.cpp)を確認してください
|
36 |
For other operating systems, please check the [llama.cpp official website](https://github.com/ggerganov/llama.cpp)
|
37 |
```
|
@@ -87,6 +93,9 @@ Translate Japanese to English.
|
|
87 |
|
88 |
### パラメーター(Parameters)
|
89 |
|
|
|
|
|
|
|
90 |
必要に応じて下記のパラメーターを調整してください
|
91 |
|
92 |
- 温度(--temp): この値を下げると、モデルがより確信度の高い(つまり、より一般的な)単語��選択する傾向が強くなります。
|
|
|
8 |
- llama.cpp
|
9 |
---
|
10 |
|
11 |
+
Gemmaベースの日英、英日ニューラル機械翻訳モデルである[webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter)をGPUがないPCでも動かせるようにggufフォーマットに変換したモデルです。
|
12 |
A Japanese-English and English-Japanese neural machine translation model, [webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter), converted to gguf format so that it can run on a PC without a GPU.
|
13 |
|
14 |
+
### 簡単に試す方法(Easy way to try it)
|
15 |
+
Googleの無料WebサービスColabを使うとブラウザを使って試す事ができます。
|
16 |
+
You can try it using your browser with Colab, Google's free web service.
|
17 |
|
18 |
リンク先で[Open in Colab]ボタンを押してColabを起動してください
|
19 |
Press the [Open in Colab] button on the link to start Colab
|
20 |
[Colab Sample C3TR_Adapter_gguf_Free_Colab_sample](https://github.com/webbigdata-jp/python_sample/blob/main/C3TR_Adapter_gguf_Free_Colab_sample.ipynb)
|
21 |
|
22 |
+
|
23 |
+
### 利用可能なVersion(Available Versions)
|
24 |
+
|
25 |
+
llama.cppを使うと、様々な量子化手法でファイルのサイズを小さくする事が出来ますが、本サンプルでは6種類のみを扱います。小さいサイズのモデルは、少ないメモリで高速に動作させることができますが、モデルの性能も低下します。4ビット(q4_0)くらいがバランスが良いと言われています。
|
26 |
+
Although llama.cpp can be used to reduce the size of the file with various quantization methods, this sample deals with only six types. Smaller models can run faster with less memory, but also reduce the performance of the models. 4 bits (q4_0) is said to be a good balance.
|
27 |
|
28 |
- C3TR-Adapter.Q4_0.gguf 5.01 GB
|
29 |
- C3TR-Adapter.Q4_1.gguf 5.5 GB
|
30 |
- C3TR-Adapter.Q5_0.gguf 5.98 GB
|
31 |
- C3TR-Adapter.Q5_1.gguf 6.47 GB
|
32 |
- C3TR-Adapter.IQ3_M.gguf 3.9 GB (3.66 bpw quantization mix. 動作確認できた最も小さいモデル。The smallest model that has been confirmed to work)
|
33 |
+
- C3TR-Adapter.IQ1_S.gguf 2.16 GB (1.56 bpw quantization. まだ正常動作しないが原理上最も小さいモデル。Smallest model in principle, although it still does not work properly)
|
34 |
|
35 |
### サンプルコード(sample code)
|
36 |
|
37 |
+
ColabのCPUは少し遅いので、少し技術的な挑戦が必要ですが皆さんが所有しているPCで動かす方が良いでしょう。
|
38 |
+
Colab's CPU is a bit slow, so it would be better to run it on your own PC, which requires a bit of a technical challenge.
|
39 |
+
|
40 |
+
#### Install and compile example(linux)
|
41 |
その他のOSについては[llama.cpp公式サイト](https://github.com/ggerganov/llama.cpp)を確認してください
|
42 |
For other operating systems, please check the [llama.cpp official website](https://github.com/ggerganov/llama.cpp)
|
43 |
```
|
|
|
93 |
|
94 |
### パラメーター(Parameters)
|
95 |
|
96 |
+
現在のgguf版は翻訳後に幻覚を追加出力してしまう傾向があり、パラメーターを適宜調整する必要があります。
|
97 |
+
The current gguf version tends to add hallucinations after translation and the parameters need to be adjusted accordingly.
|
98 |
+
|
99 |
必要に応じて下記のパラメーターを調整してください
|
100 |
|
101 |
- 温度(--temp): この値を下げると、モデルがより確信度の高い(つまり、より一般的な)単語��選択する傾向が強くなります。
|