Safetensors
aixsatoshi commited on
Commit
328f0b8
1 Parent(s): e3fca71

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +5 -4
README.md CHANGED
@@ -4,7 +4,8 @@ license: cc-by-4.0
4
 
5
  Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。
6
 
7
- 注:bf16での使用を想定しています。量子化推論する場合は、bf16で読み込んだ状態でLora適応、またはマージ、その後に量子化してください。
 
8
 
9
  **目的**
10
 
@@ -77,6 +78,6 @@ Loraのみでも日本語コードへのバイアスを一定レベル強める
77
 
78
  **その他**
79
 
80
- 過度な日本語出力バイアスはなく、他の言語も出力可能でした。
81
- context長は4096tokenまでの学習ですが、4k token以上の出力も可能です。
82
- 一定以上の出力後、日本語出力のバイアスが安定するのかもしれないです。
 
4
 
5
  Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。
6
 
7
+ 注:bf16での使用を想定しています。
8
+ 量子化推論する場合は、bf16で読み込んだ状態でLora適応、またはマージ、その後に量子化してください。
9
 
10
  **目的**
11
 
 
78
 
79
  **その他**
80
 
81
+ 他の言語も出力可能でした。
82
+ 学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
83
+ 一定以上の出力すると、その後のtokenの日本語バイアスが安定するのかもしれないです。