grapevine-AI
commited on
Commit
•
79c0ea1
1
Parent(s):
50a43c3
Update README.md
Browse files
README.md
CHANGED
@@ -11,7 +11,7 @@ license: apache-2.0
|
|
11 |
なお、公式配布されているGGUFにはBF16やFP32が存在しなかったため、一連の作業はQ8_0量子化モデルで行いました。<br>
|
12 |
(imatrix計算時だけでなく、量子化時も`--allow-requantize`オプションでQ8からの再量子化を許容しています)
|
13 |
```
|
14 |
-
.\llama-quantize.exe --allow-requantize --imatrix .\imatrix.dat "F:\Users\Public\Downloads\models\qwen2.5-32b-instruct-q8_0.gguf"
|
15 |
```
|
16 |
|
17 |
# Chat template
|
@@ -26,7 +26,7 @@ license: apache-2.0
|
|
26 |
```
|
27 |
|
28 |
# Environment
|
29 |
-
Windows版llama.cpp-b3621
|
30 |
|
31 |
# License
|
32 |
Apache 2.0
|
|
|
11 |
なお、公式配布されているGGUFにはBF16やFP32が存在しなかったため、一連の作業はQ8_0量子化モデルで行いました。<br>
|
12 |
(imatrix計算時だけでなく、量子化時も`--allow-requantize`オプションでQ8からの再量子化を許容しています)
|
13 |
```
|
14 |
+
.\llama-quantize.exe --allow-requantize --imatrix .\imatrix.dat "F:\Users\Public\Downloads\models\qwen2.5-32b-instruct-q8_0.gguf" Q4_K_M
|
15 |
```
|
16 |
|
17 |
# Chat template
|
|
|
26 |
```
|
27 |
|
28 |
# Environment
|
29 |
+
Windows版llama.cpp-b3621を使用して量子化作業を実施しました。
|
30 |
|
31 |
# License
|
32 |
Apache 2.0
|