|
--- |
|
license: apache-2.0 |
|
datasets: |
|
- aixsatoshi/cosmopedia-japanese-20k |
|
language: |
|
- ja |
|
- en |
|
--- |
|
|
|
**目的** |
|
|
|
高性能なMixtral8x7B-instructを日本語で使用するためのLoraです。 |
|
|
|
今回cosmopediaを日本語翻訳したデータ20kで学習しました。 |
|
|
|
https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k |
|
|
|
cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語機能で得られる知識、論理が凝縮されています。 |
|
|
|
このデータで学習することで、モデル本来の性能を日本語で引き出すことを目的としました。 |
|
|
|
|
|
**性能** |
|
|
|
前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。 |
|
|
|
https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2 |
|
|
|
|
|
|
|
**Limitation** |
|
|
|
Lora学習であり限界はあります。不自然な日本語が出現することがあります。 |
|
|
|
日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。 |
