Update README.md
Browse files
README.md
CHANGED
@@ -8,7 +8,7 @@ tags:
|
|
8 |
|
9 |
日英、英日ニューラル機械翻訳モデルである[webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter)をGPUがないPCでも動くggufフォーマットに変換したモデルです。
|
10 |
|
11 |
-
現在のgguf
|
12 |
The current gguf version tends to add hallucinations after translation and the parameters need to be adjusted accordingly.
|
13 |
|
14 |
[Colab Sample C3TR_Adapter_gguf_Free_Colab_sample](https://github.com/webbigdata-jp/python_sample/blob/main/C3TR_Adapter_gguf_Free_Colab_sample.ipynb)
|
@@ -34,8 +34,8 @@ Although llama.cpp can be used to reduce the size of the file with various quant
|
|
34 |
以下はllama.cppの作者(ggerganov)による[推奨パラメーター](https://huggingface.co/google/gemma-7b-it/discussions/38#65d7b14adb51f7c160769fa1)です
|
35 |
- -e (改行\nをエスケープ)
|
36 |
- --temp 0 (最も確率の高いトークンのみを選択)
|
37 |
-
- --repeat-penalty 1.0 (
|
38 |
-
- --no-penalize-nl (
|
39 |
|
40 |
Adjust the following parameters as needed
|
41 |
- Temperature (--temp): Lowering this value will make the model more likely to select more confident (i.e., more common) words.
|
|
|
8 |
|
9 |
日英、英日ニューラル機械翻訳モデルである[webbigdata/C3TR-Adapter](https://huggingface.co/webbigdata/C3TR-Adapter)をGPUがないPCでも動くggufフォーマットに変換したモデルです。
|
10 |
|
11 |
+
現在のgguf版は翻訳後に幻覚を追加出力してしまう傾向があり、パラメーターを適宜調整する必要があります。
|
12 |
The current gguf version tends to add hallucinations after translation and the parameters need to be adjusted accordingly.
|
13 |
|
14 |
[Colab Sample C3TR_Adapter_gguf_Free_Colab_sample](https://github.com/webbigdata-jp/python_sample/blob/main/C3TR_Adapter_gguf_Free_Colab_sample.ipynb)
|
|
|
34 |
以下はllama.cppの作者(ggerganov)による[推奨パラメーター](https://huggingface.co/google/gemma-7b-it/discussions/38#65d7b14adb51f7c160769fa1)です
|
35 |
- -e (改行\nをエスケープ)
|
36 |
- --temp 0 (最も確率の高いトークンのみを選択)
|
37 |
+
- --repeat-penalty 1.0 (繰り返しペナルティをオフ。指示調整済モデルでこれをするのは、決して良い考えとは言えないとの事。)
|
38 |
+
- --no-penalize-nl (改行の繰り返しにはペナルティをあたえない)
|
39 |
|
40 |
Adjust the following parameters as needed
|
41 |
- Temperature (--temp): Lowering this value will make the model more likely to select more confident (i.e., more common) words.
|