Update README.md

README.md

@@ -2,14 +2,16 @@
 license: cc-by-4.0
 ---
 
-Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。bf16での使用を想定しています。量子化推論する場合は、bf16で読み込んだ状態でLora適応、またはマージ、その後に量子化してください。
+Mixtral8X7B Instructの日本語生成を安定させるためのLora実験モデルです。  
+:::message alert
+bf16での使用を想定しています。量子化推論する場合は、bf16で読み込んだ状態でLora適応、またはマージ、その後に量子化してください。
 
-#目的
+**目的**
 
 Mixtral-8x7Bは優秀な言語モデルですが、日本語のアウトプットに、多言語が混入するcode-switchingがよく見られます。
 元の性能を維持しながら、日本語生成を安定させる方法としてLoraの効果を検証しました。
 
-#学習データセット
+**学習データセット**
 
 学習データセットとして、下記のDPOデータセットを使用しています。
 今回は、chosenのデータを使用しsft学習しています。
@@ -19,7 +21,7 @@ lmsys/chatbot_arena_conversationsのユーザ入力（CC-BY 4.0）を和訳
 和訳にはfacebookの翻訳モデル（MIT License）が使用されています。
 [cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental](https://huggingface.co/datasets/cyberagent/chatbot-arena-ja-calm2-7b-chat-experimental)
 
-#evaluation
+**evaluation**
 
 大きな性能低下がないことを確認しました
 
@@ -66,14 +68,14 @@ num_fewshot: 2, batch_size: 1
 |jaqket_v2-0.1-0.3|    0.1|exact_match|67.9553|   |      |
 |                 |       |f1         |78.7550|   |      |
 
-#考察
+**考察**
 
 追加の事前学習なく安定した日本語出力が可能となったのは以下の作用と考えました。
 未学習のモデルでは、日本語のシグナルが弱く言語選択が不安定になっていると推測されます。
 Loraのみでも日本語コードへのバイアスを一定レベル強めることが可能となり、
 もともと学習していた日本語のシグナルを抽出しやすくなったと考えられました。
 
-##その他
+**その他**
 
 過度な日本語出力バイアスはなく、他の言語も出力可能でした。
 context長は4096tokenまでの学習ですが、4k token以上の出力も可能です。