Commit
•
d44fa79
1
Parent(s):
f9df3d0
Update README.md
Browse files
README.md
CHANGED
|
@@ -24,4 +24,10 @@ cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語
|
|
| 24 |
|
| 25 |
前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。
|
| 26 |
|
| 27 |
-
https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 24 |
|
| 25 |
前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。
|
| 26 |
|
| 27 |
+
https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2
|
| 28 |
+
|
| 29 |
+
**Limitation**
|
| 30 |
+
|
| 31 |
+
Lora学習であり限界はあります。不自然な日本語が出現することがあります。
|
| 32 |
+
|
| 33 |
+
日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。
|