aixsatoshi
commited on
Commit
•
328f0b8
1
Parent(s):
e3fca71
Update README.md
Browse files
README.md
CHANGED
@@ -4,7 +4,8 @@ license: cc-by-4.0
|
|
4 |
|
5 |
Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。
|
6 |
|
7 |
-
注:bf16
|
|
|
8 |
|
9 |
**目的**
|
10 |
|
@@ -77,6 +78,6 @@ Loraのみでも日本語コードへのバイアスを一定レベル強める
|
|
77 |
|
78 |
**その他**
|
79 |
|
80 |
-
|
81 |
-
context長は4096token
|
82 |
-
|
|
|
4 |
|
5 |
Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。
|
6 |
|
7 |
+
注:bf16での使用を想定しています。
|
8 |
+
量子化推論する場合は、bf16で読み込んだ状態でLora適応、またはマージ、その後に量子化してください。
|
9 |
|
10 |
**目的**
|
11 |
|
|
|
78 |
|
79 |
**その他**
|
80 |
|
81 |
+
他の言語も出力可能でした。
|
82 |
+
学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
|
83 |
+
一定以上の出力すると、その後のtokenの日本語バイアスが安定するのかもしれないです。
|