Aratako commited on
Commit
a581bd9
1 Parent(s): 2306cc0

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +3 -1
README.md CHANGED
@@ -14,11 +14,13 @@ imatrixの計算には[Wikitext-JA](https://www.lsta.media.kyoto-u.ac.jp/resourc
14
 
15
  ## 注意
16
  このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
17
- 具体的には、内部のテストでJMT-Benchで全体スコア-0.5点程度、特に数学やコーディング、リーズニングの難易度が高いタスクで大きな性能低下が起こることを確認しています。
18
 
19
  そのため、他の形式の量子化モデルの利用を推奨いたします。
20
  - [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
21
  - [GPTQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-4bit)
22
  - [GPTQ 8bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-8bit)
23
 
 
 
24
  モデルに関する詳細については[元モデル]((https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0))をご確認ください。
 
14
 
15
  ## 注意
16
  このGGUFモデルはtokenizerを元モデルから完全に変換出来ていない可能性があります。また、独自アーキテクチャの実装を反映するためにllama.cpp側の実装変更が必要となり、通常通り推論しようとすると性能低下が発生します。
17
+ 具体的には、内部のテストでJMT-Benchで全体スコア-0.5点程度、特に数学やコーディング、リーズニングの難易度が高いタスクで大きな性能低下が起こることを確認しています。また、人手評価では更に大きな性能低下が確認される可能性もあります。
18
 
19
  そのため、他の形式の量子化モデルの利用を推奨いたします。
20
  - [AWQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-AWQ)
21
  - [GPTQ 4bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-4bit)
22
  - [GPTQ 8bit量子化](https://huggingface.co/team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GPTQ-8bit)
23
 
24
+ 本モデルを利用する際は性能が低下していることをご理解の上お使いください。
25
+
26
  モデルに関する詳細については[元モデル]((https://huggingface.co/weblab-GENIAC/Tanuki-8x8B-dpo-v1.0))をご確認ください。