---
license: apache-2.0
datasets:
- aixsatoshi/cosmopedia-japanese-20k
language:
- ja
- en
---

**目的**

高性能なMixtral8x7B-instructを日本語で使用するためのLoraです。

今回cosmopediaを日本語翻訳したデータ20kで学習しました。

https://huggingface.co/datasets/aixsatoshi/cosmopedia-japanese-20k

cosmopediaは、Mixtralで生成されたデータであり、Mixtralの英語機能で得られる知識、論理が凝縮されています。

このデータで学習することで、モデル本来の性能を日本語で引き出すことを目的としました。


**性能**

前回のcalm2生成の合成データセットでチューニングよりも実際の体感性能がよいように感じます。

https://huggingface.co/aixsatoshi/Mixtral-8x7B-ja-Lora-sft-ChatbotArenaJAcalm2



**Limitation**

Lora学習であり限界はあります。不自然な日本語が出現することがあります。

日本語で継続事前学習したほうが、高品質な次token予測ができるようになると思います。