Commit
•
f42d64a
1
Parent(s):
587b5bc
Update README.md
Browse files
README.md
CHANGED
|
@@ -1,5 +1,7 @@
|
|
| 1 |
---
|
| 2 |
license: cc-by-4.0
|
|
|
|
|
|
|
| 3 |
---
|
| 4 |
|
| 5 |
Mixtral8X7B Instructの日本語生成を安定させるためのLoraです。
|
|
@@ -73,4 +75,4 @@ num_fewshot: 2, batch_size: 1
|
|
| 73 |
Lora学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
|
| 74 |
|
| 75 |
注：bf16での使用を想定しています。
|
| 76 |
-
量子化推論する場合は、bf16でモデルを読み込んだ状態でLora適応またはマージ、その後に量子化してください。
|
|
|
|
| 1 |
---
|
| 2 |
license: cc-by-4.0
|
| 3 |
+
datasets:
|
| 4 |
+
- cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental
|
| 5 |
---
|
| 6 |
|
| 7 |
Mixtral8X7B Instructの日本語生成を安定させるためのLoraです。
|
|
|
|
| 75 |
Lora学習時のcontext長は4096tokenまでですが、4k token以上の出力も可能です。
|
| 76 |
|
| 77 |
注：bf16での使用を想定しています。
|
| 78 |
+
量子化推論する場合は、bf16でモデルを読み込んだ状態でLora適応またはマージ、その後に量子化してください。
|