Update README.md

README.md

@@ -9,4 +9,104 @@ QLORA https://huggingface.co/mesolitica/llama-7b-hf-32768-fpf on translated Ultr
 
 We use exact Llama2 chat template.
 
-README at https://github.com/mesolitica/malaya/tree/5.1/session/llama2#7b-16384-context-length-flash-attention-2
+README at https://github.com/mesolitica/malaya/tree/5.1/session/llama2#7b-16384-context-length-flash-attention-2
+
+## how-to
+
+```python
+from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
+import torch
+
+def parse_llama_chat(messages):
+
+    system = messages[0]['content']
+    user_query = messages[-1]['content']
+
+    users, assistants = [], []
+    for q in messages[1:-1]:
+        if q['role'] == 'user':
+            users.append(q['content'])
+        elif q['role'] == 'assistant':
+            assistants.append(q['content'])
+
+    texts = [f'<s>[INST] <<SYS>>\n{system}\n<</SYS>>\n\n']
+    for u, a in zip(users, assistants):
+        texts.append(f'{u.strip()} [/INST] {a.strip()} </s><s>[INST] ')
+    texts.append(f'{user_query.strip()} [/INST]')
+    prompt = ''.join(texts).strip()
+    return prompt
+
+TORCH_DTYPE = 'bfloat16'
+nf4_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type='nf4',
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_compute_dtype=getattr(torch, TORCH_DTYPE)
+)
+
+tokenizer = AutoTokenizer.from_pretrained('mesolitica/malaysian-llama2-7b-32k-instructions')
+model = AutoModelForCausalLM.from_pretrained(
+    'mesolitica/malaysian-llama2-7b-32k-instructions',
+    use_flash_attention_2 = True,
+    quantization_config = nf4_config
+)
+
+messages = [
+    {'role': 'system', 'content': 'awak adalah AI yang mampu jawab segala soalan'},
+    {'role': 'user', 'content': 'kwsp tu apa'}
+]
+prompt = parse_llama_chat(messages)
+inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
+generate_kwargs = dict(
+    inputs,
+    max_new_tokens=1024,
+    top_p=0.95,
+    top_k=50,
+    temperature=0.9,
+    do_sample=True,
+    num_beams=1,
+)
+r = model.generate(**generate_kwargs)
+print(tokenizer.decode(r[0]))
+```
+
+```text
+'<s> [INST] <<SYS>>
+awak adalah AI yang mampu jawab segala soalan<</SYS>>
+
+kwsp tu apa [/INST] Kumpulan Wang Simpanan Pekerja (KWSP) ialah sebuah badan berkanun yang ditubuhkan di Malaysia yang menguruskan tabung simpanan tetap pekerja bagi tujuan persaraan dan perancangan masa depan. Diasaskan pada tahun 1951, KWSP bertanggungjawab untuk mengumpul dan menguruskan sumber daripada majikan dan pekerja, dan juga menyediakan pelbagai faedah kepada ahli seperti dividen dan akses kepada pengeluaran simpanan pada usia persaraan. KWSP juga memainkan peranan penting dalam menyediakan perlindungan sosial dan pembangunan ekonomi di Malaysia, dengan mempromosikan simpanan pengguna dan meningkatkan kadar celik kewangan dalam kalangan rakyat. </s>'
+```
+
+```python
+messages = [
+    {'role': 'system', 'content': 'awak adalah AI yang mampu jawab segala soalan'},
+    {'role': 'user', 'content': 'awat malaysia ada jabatan koko, malaysia bukan buat keluaq koko banyak pun'}
+]
+prompt = parse_llama_chat(messages)
+inputs = tokenizer([prompt], return_tensors='pt', add_special_tokens=False).to('cuda')
+generate_kwargs = dict(
+    inputs,
+    max_new_tokens=1024,
+    top_p=0.95,
+    top_k=50,
+    temperature=0.9,
+    do_sample=True,
+    num_beams=1,
+)
+r = model.generate(**generate_kwargs)
+print(tokenizer.decode(r[0]))
+```
+
+```text
+<s> [INST] <<SYS>>
+awak adalah AI yang mampu jawab segala soalan
+<</SYS>>
+
+awat malaysia ada jabatan koko, malaysia bukan buat keluaq koko banyak pun [/INST] Penanaman koko di Malaysia bermula pada tahun 1950-an, dengan pengeluaran koko kering pertama dihasilkan pada tahun 1958. Pada masa itu, negara ini menjadi pembekal koko terbesar di dunia, dan industri ini terus berkembang dan mewujudkan ribuan pekerjaan dalam pemprosesan dan pengeluaran koko.
+
+Walau bagaimanapun, penurunan harga koko di pasaran antarabangsa pada tahun 1980-an menyebabkan pengeluaran koko Malaysia menurun, dan negara ini telah mengubah tumpuan daripada penanaman koko kepada komoditi lain seperti minyak kelapa sawit dan getah.
+
+Walaupun Malaysia bukan pengeluar koko yang besar, industri koko tempatan masih penting dari segi ekonomi dan sosial. Koko ialah komoditi yang diperdagangkan di bursa tempatan, dan pengeluar koko tempatan menghasilkan koko kering yang dieksport ke seluruh dunia.
+
+Jabatan Koko Malaysia ialah sebuah agensi kerajaan yang bertanggungjawab untuk membangunkan industri koko dan mempromosikan pengeluaran koko. Agensi ini bekerjasama dengan industri untuk meningkatkan produktiviti dan memastikan kualiti produk koko Malaysia. Ia juga menggalakkan usaha pembangunan pekebun kecil untuk mempromosikan industri koko dan mewujudkan peluang pekerjaan dan ekonomi di kawasan pedalaman. </s>
+```