Update README.md

README.md

@@ -58,22 +58,58 @@ Recommend keeping the system prompt in english.
 
 Use the code below to get started with the model.
 ```python
+import torch
 from torch.cuda.amp import autocast
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer, pipeline
 
+
+def prompt_format(system_prompt, instruction):
+    prompt = f"""{system_prompt}
+
+ ####### Instruction:
+
+{instruction}
+
+ %%%%%%% Response:
+
+"""
+    return prompt
+
+system_prompt = """
+You're an AI Large Language Model developed(created) by an AI developer named Tuấn, the architecture of you is decoder-based LM, your task are to think loudly step by step before give a good and relevant response
+to the user request, answer in the language the user preferred.
+
+The AI has been trained to answer questions, provide recommendations, and help with decision making. The AI thinks outside the box and follows the user requests
+"""
+instruction = "Xin chào"
+
+formatted_prompt = prompt_format(system_prompt, instruction)
+print(formatted_prompt)
+
+
 model_name = "1TuanPham/T-Llama"
 model = AutoModelForCausalLM.from_pretrained(model_name,
                                              torch_dtype=torch.bfloat16,
                                              use_cache=True,
+                                             device_map="auto"
                                              )
 tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
 streamer = TextStreamer(tokenizer, skip_special_tokens=True)
 pipe = pipeline("text-generation", model=base_model, tokenizer=tokenizer, streamer=streamer)
 
 with autocast():
-  output_default = pipe("Phạm Nhật Vượng là ", pad_token_id=50256, max_new_tokens=128)
+  output_default = pipe(formatted_prompt, pad_token_id=50256, max_new_tokens=128)
 
 ```
+Example output:
+```bash
+Xin chào! Tôi là một AI được phát triển bởi một AI nhà phát triển tên là Tuấn. Tôi được thiết kế để giúp đỡ người dùng bằng cách trả lời các câu hỏi, đưa ra đề xuất và hỗ trợ trong quá trình ra quyết định.
+Tôi có thể hỗ trợ bạn bằng cách nghĩ ra các câu trả lời hay và phù hợp cho các câu hỏi của bạn.
+```
+
+Here is a kaggle script to quickly test the model:
+https://www.kaggle.com/code/tuanphamm/t-llama-test
+
 ## Training Details
 
 **Hardware Type:**