Create README.md

README.md

@@ -0,0 +1,34 @@
+# AKU-d_ms-0.5B-chat-v0.1
+## Overview
+スクラッチで学習したMistralアーキテクチャの0.5BモデルをさらにSFTとDPOで会話タスクにファインチューニングしたモデルです。
+
+開発の経緯や開発時のメモ書きは下記のURLを参照ください。
+[Zenn_記事](https://zenn.dev/yuki127/articles/813e72d026f230)
+
+## Usage
+---
+license: apache-2.0
+language:
+- ja
+---
+```python
+import torch
+from transformers import AutoTokenizer, AutoModelForCausalLM
+
+model_name = "YukiTomita-CC/AKU-d_ms-0.5B-chat-v0.1"
+model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype=torch.float32, device_map="auto").to("cuda")
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=False)
+
+messages = [
+    {"role": "user", "content": "好きな食べ物は何ですか?"}
+]
+
+input_ids = tokenizer.apply_chat_template(
+    messages,
+    return_tensors="pt",
+).to(model.device)
+outputs = model.generate(input_ids, max_new_tokens=128, do_sample=True, top_p=0.9, top_k=50, num_return_sequences=5)
+
+for output in outputs:
+    print(tokenizer.decode(output[input_ids.shape[-1]:], skip_special_tokens=True))
+```