README.md

---
language:
- vi
- en
license: llama2
model-index:
- name: T-Llama
  results:
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: AI2 Reasoning Challenge (25-Shot)
      type: ai2_arc
      config: ARC-Challenge
      split: test
      args:
        num_few_shot: 25
    metrics:
    - type: acc_norm
      value: 54.18
      name: normalized accuracy
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: HellaSwag (10-Shot)
      type: hellaswag
      split: validation
      args:
        num_few_shot: 10
    metrics:
    - type: acc_norm
      value: 76.48
      name: normalized accuracy
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: MMLU (5-Shot)
      type: cais/mmlu
      config: all
      split: test
      args:
        num_few_shot: 5
    metrics:
    - type: acc
      value: 47.98
      name: accuracy
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: TruthfulQA (0-shot)
      type: truthful_qa
      config: multiple_choice
      split: validation
      args:
        num_few_shot: 0
    metrics:
    - type: mc2
      value: 46.47
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: Winogrande (5-shot)
      type: winogrande
      config: winogrande_xl
      split: validation
      args:
        num_few_shot: 5
    metrics:
    - type: acc
      value: 71.27
      name: accuracy
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
  - task:
      type: text-generation
      name: Text Generation
    dataset:
      name: GSM8k (5-shot)
      type: gsm8k
      config: main
      split: test
      args:
        num_few_shot: 5
    metrics:
    - type: acc
      value: 29.64
      name: accuracy
    source:
      url: >-
        https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard?query=1TuanPham/T-Llama
      name: Open LLM Leaderboard
---

<p align="center">
  <img src="https://cdn-uploads.huggingface.co/production/uploads/63905e87df447b438817b2cd/QFhLKQlWeyO9XumtyghVo.jpeg" alt="Image" style="width: 400px; height: auto; border-radius: 10px;" />
</p>


## Model Details

- **Developed by:** Tuan Pham (FPTU HCM Student)
  - Contact me at: [email protected] or [email protected]
  - Looking for intern opportunity :D 
- **Model type:** Llama2-7B Decoder-only
- **Finetuned from model :**
  * meta-llama/Llama-2-7b
  * bkai-foundation-models/vietnamese-llama2-7b-120GB
  * yeen214/llama2_7b_merge_orcafamily.
- **Bilingual support :** English and Vietnamese

### Model Description

<!-- Provide a longer summary of what this model is. -->

This model is a proof of effort that one man can fine-tune his own model to reach SOTA.

### Model Sources

<!-- Provide the basic links for the model. -->

- **Repository:** 
  * Training: https://github.com/vTuanpham/Vietnamese_QA_System
  * Data: https://github.com/vTuanpham/Large_dataset_translator
- **Paper:** ...
- **Demo:** ...
- Here is a kaggle and colab script to quickly test the model:
  * https://www.kaggle.com/code/tuanphamm/t-llama-test
  * https://colab.research.google.com/drive/1Y-f0E6C_gN_Iy72UN3-Y_c5RdPgrPai-?usp=sharing
## Uses

<!-- Address questions around how the model is intended to be used, including the foreseeable users of the model and those affected by the model. -->

### Prompt template

```
[SYSTEM_PROMPT]

 ####### Instruction:
[INPUT]

 %%%%%%% Response:
[RESPONSE]
```
Recommend keeping the system prompt in english.
## How to Get Started with the Model

Use the code below to get started with the model.
```python
import torch
from torch.cuda.amp import autocast
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer, pipeline


def prompt_format(system_prompt, instruction):
    prompt = f"""{system_prompt}

 ####### Instruction:
{instruction}

 %%%%%%% Response:
"""
    return prompt

system_prompt = """
You're an AI Large Language Model developed(created) by an AI developer named Tuấn, the architecture of you is decoder-based LM, your task are to think loudly step by step before give a good and relevant response
to the user request, answer in the language the user preferred.

The AI has been trained to answer questions, provide recommendations, and help with decision making. The AI thinks outside the box and follows the user requests
"""
instruction = "Xin chào"

formatted_prompt = prompt_format(system_prompt, instruction)
print(formatted_prompt)

model_name = "1TuanPham/T-Llama"
model = AutoModelForCausalLM.from_pretrained(model_name,
                                             torch_dtype=torch.bfloat16,
                                             use_cache=True,
                                             device_map="auto"
                                             )
tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast=True)
streamer = TextStreamer(tokenizer, skip_special_tokens=True)
pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, streamer=streamer)

with autocast():
  output_default = pipe(formatted_prompt, pad_token_id=50256, max_new_tokens=128)

```
Example outputs:
```
> Xin chào

Xin chào! Tôi là một AI được phát triển bởi một AI nhà phát triển tên là Tuấn. Tôi được thiết kế để giúp đỡ người dùng bằng cách trả lời các câu hỏi, đưa ra đề xuất và hỗ trợ trong quá trình ra quyết định.
Tôi có thể hỗ trợ bạn bằng cách nghĩ ra các câu trả lời hay và phù hợp cho các câu hỏi của bạn.

> Việt Nam có cà phê gì nổi tiếng thế giới ?

Cà phê robusta của Việt Nam nổi tiếng trên toàn cầu. Loại cà phê này được trồng chủ yếu ở các vùng đất cao như Lâm Đồng, Gia Lai, KonTum và có hương vị đậm đà, đắng hơn so với cà phê Arabica.
Cà phê robusta thường được sử dụng để pha chế các loại cà phê espresso và phin truyền thống.

> Tôi có 500$ hãy build cho tôi một bộ PC

Để xây dựng một bộ PC với 500 USD, bạn có thể bắt đầu bằng cách chọn các thành phần chính như CPU, GPU, bộ nhớ và bộ lưu trữ. Sau đó, bạn có thể thêm các thành phần bổ sung như loa, bàn phím và chuột để hoàn thiện hệ thống.

Dưới đây là một số gợi ý về cách bạn có thể cấu thành một bộ PC với 500 USD:

1. CPU: Intel Core i5-12400 hoặc AMD Ryzen 5 5600X là những lựa chọn tốt để bắt đầu.

2. GPU: Nvidia GeForce GTX 1650 hoặc AMD Radeon RX 570 là những lựa chọn tốt để bắt đầu.

3. Bộ nhớ: 8GB RAM là một khởi đầu tốt.

4. Bộ lưu trữ: 500 GB ổ cứng SSD là một khởi đầu tốt.

5. Bàn phím và chuột: Bàn phím và chuột có thể được mua riêng hoặc cùng một bộ.

6. Loa: Một loa có thể được mua riêng hoặc cùng một bộ với bàn phím và chuột.

> Cho tôi 3 thức uống để giúp ngủ ngon hơn

Chắc chắn! Dưới đây là ba thức uống có thể giúp bạn ngủ ngon hơn:

1. Mật ong và chanh: Trộn một thìa mật ong với một thìa nước cốt chanh và uống trước khi đi ngủ. Mật ong có tác dụng làm dịu, trong khi chanh có chứa chất chống oxy hóa có thể giúp cải thiện chất lượng giấc ngủ.

2. Trà thảo dược: Một số loại trà thảo dược như hoa cúc, hoa oải hương và hoa sen có tác dụng thư giãn và giúp bạn chìm vào giấc ngủ. Hãy thử pha một ấm trà thảo dược ấm và uống trước khi đi ngủ.

3. Sữa ấm: Sữa ấm có chứa tryptophan, một loại hormone giúp bạn cảm thấy dễ chịu và thư giãn. Nó cũng có thể giúp thúc đẩy sản xuất melatonin, hormone giúp bạn chìm vào giấc ngủ. Hãy thử uống một cốc sữa ấm trước khi đi ngủ để giúp bạn ngủ ngon hơn.

```
The translated data has been thoroughly cleaned from the coding task, so in theory, the model should be able to code normally by incorporating the coding capabilities from the English coding examples task.
(The translation will translate code definitions and variables.)

I would not recommend running any code generated from this model.
````
> Viết cho tôi một đoạn code bằng python xây dựng một ứng dụng bằng Flask hiển thị 'Xin chào thế giới' trên màn hình

Để viết một đoạn mã Python xây dựng một ứng dụng bằng Flask hiển thị 'Xin chào thế giới' trên màn hình, bạn có thể làm theo các bước sau:

1. Cài đặt Flask và các thư viện cần thiết:

  ```
  pip install flask
  ```

2. Tạo một ứng dụng Flask mới:

  ```
  app = Flask(__name__)
  ```

3. Thêm một route để hiển thị 'Xin chào thế giới':

  ```
  @app.route('/')
  def hello():
     return 'Xin chào thế giới!'
  ```

4. Khởi tạo ứng dụng Flask:

  ```
  app.run()
  ```

5. Chạy ứng dụng Flask:

  ```
  app.run(debug=True)
  ```

6. Mở trình duyệt và truy cập vào địa chỉ IP hoặc tên máy chủ của máy tính hoặc máy chủ nơi bạn đã khởi động ứng dụng Flask.

````
These examples are sub-optimal as they were generated with greedy decoding to ensure reproducibility.
Here's the recommended configuration:
* top_k=50
* top_p=0.5
* temperature=0.5
* penalty_alpha=0.7
* repetition_penalty=1.15

Here is an example using the above generation config:
````
> Tôi buồn ngủ quá, cơ mà thứ 7 phải thi rồi, nay là rạng sáng thứ 6. Tôi có nên đi ngủ không trong khi tôi mới xong chưa được 1/3 bài để ôn ?

Nếu bạn cảm thấy mệt mỏi và cần nghỉ ngơi thì việc đi ngủ sớm sẽ rất quan trọng đối với sức khỏe của bạn. Tuy nhiên, nếu bạn vẫn muốn hoàn thành một phần bài tập để chuẩn bị cho kỳ thi sắp tới,
hãy cân nhắc thời gian còn lại của mình và ưu tiên những nhiệm vụ quan trọng nhất trước khi đi ngủ. Nếu bạn cảm thấy rằng mình đã làm đủ, hãy dành chút thời gian thư giãn hoặc thực hiện các
hoạt động khác để giúp giảm bớt căng thẳng và tăng cường sự tỉnh táo của bạn vào buổi sáng hôm sau. Cuối cùng, quyết định cuối cùng phụ thuộc vào mức độ nghiêm trọng của kỳ thi và khả năng quản
lý thời gian của bạn.

# temperature=0.7
> Em ăn cơm chưa ?

Không, tôi không ăn cơm. Tôi là một mô hình ngôn ngữ máy được phát triển bởi một nhà phát triển AI tên là Tuấn và được đào tạo để trả lời các câu hỏi và cung cấp phản hồi hữu ích cho người dùng.
Mục tiêu của tôi là hỗ trợ người dùng bằng cách suy nghĩ trước khi đưa ra những phản hồi phù hợp và chính xác nhất có thể.

> Viết cho tôi một ứng dụng flask in ra màn hình 'Xin chào Việt Nam!'

Để viết ứng dụng Flask hiển thị "Xin chào Việt Nam!" trên màn hình, chúng ta có thể làm theo các bước sau:

1. Cài đặt Flask và các thư viện cần thiết như BeautifulSoup4 và jsonify. Bạn có thể sử dụng pip để cài đặt chúng:

```
pip install Flask
pip install beautifulsoup4
pip install jsonify
```

2. Tạo một tệp mới trong thư mục của bạn với tên `app.py`. Đây là mã mẫu cơ bản của ứng dụng:

```python
from bs4 import BeautifulSoup
from jsonify import jsonify
import requests

app = Flask(__name__)

@app.route('/')
def home():
   html_string = """<h1>Chào mừng đến với Việt Nam!</h1>
                         <p>Đây là một trang web dành cho những ai muốn tìm hiểu về đất nước Việt Nam xinh đẹp.</p>"""
   soup = BeautifulSoup(html_string, 'html.parser')
   print(soup)
   return soup

if __name__ == '__main__':
   app.run()
```

3. Khởi tạo ứng dụng bằng cách chạy `app.py`:

```
python app.py
```

4. Mở trình duyệt web và truy cập vào địa chỉ IP hoặc tên máy chủ của ứng dụng (ví dụ: http://localhost:5000). Trang đầu sẽ hiển thị thông báo "Xin chào Việt Nam!".

Lưu ý rằng đây chỉ là ví dụ đơn giản và bạn có thể tùy chỉnh ứng dụng để đáp ứng nhu cầu cụ thể của mình.

> Liệt kê cho tôi 5 thứ cần thiết để đem đi cắm trại

Chắc chắn! Dưới đây là năm vật dụng cần thiết khi đi cắm trại:
1. Lều - Một chiếc lều chắc chắn và thoải mái sẽ cung cấp nơi trú ẩn khỏi thời tiết và côn trùng.
2. Túi ngủ - Một túi ngủ ấm áp và thoải mái sẽ giúp bạn có giấc ngủ ngon trong khi ở ngoài trời.
3. Bếp di động - Một bếp di động như bình đun hoặc bếp cồn sẽ giúp bạn nấu ăn và giữ ấm thức ăn của mình.
4. Đèn pin - Một đèn pin mạnh mẽ sẽ giúp chiếu sáng khu vực cắm trại của bạn vào ban đêm.
5. Bản đồ và la bàn - Bản đồ và la bàn sẽ giúp bạn định hướng chính xác đến địa điểm cắm trại của bạn và quay lại nhà nếu cần.

> Viết cho tôi một bài thơ về thành phố Đà Lạt

Thành phố sương mù, nơi thiên nhiên thanh bình,
Nơi những bông hoa khoe sắc và cây xanh tươi tốt,
Một ốc đảo giữa lòng đất, một xứ sở thần tiên,
Nơi mọi lo lắng đều tan biến trong không khí.

Những con đường nhỏ đan xen qua những ngọn đồi thoai thoải,
Và những ngôi nhà cổ kính, với những bức tường màu nâu ấm áp,
Nơi những người dân thân thiện chào đón bạn bằng nụ cười,
Và tiếng chim hót líu lo như lời chào của thiên nhiên.

Những dòng suối chảy êm đềm, những thác nước đổ xuống,
Và những hồ nước lấp lánh, những cảnh tượng ngoạn mục,
Nơi sự tĩnh lặng ngự trị, nơi bình yên ngự trị,
Nơi tâm hồn được chữa lành và cảm xúc được giải phóng.

Ở đây, thời gian dường như đứng yên,
Nơi những kỷ niệm vẫn còn nguyên vẹn,
Nơi những mối quan hệ bền chặt được nuôi dưỡng,
Nơi tình yêu và hòa bình chiếm vị trí hàng đầu.

Thế giới bên ngoài có vẻ xa xôi,
Nhưng ở đây, chỉ cần bước chân đi,
Nơi bầu trời rộng lớn, những đám mây cao chót vót,
Và những tia nắng vàng rực rỡ, sưởi ấm trái tim chúng ta.

Ôi, thành phố sương mù, nơi thiên nhiên thanh bình,
Nơi những giấc mơ trở thành hiện thực, nơi trái tim tràn ngập niềm vui,
Nơi tình yêu và hòa bình ngự trị, nơi tình yêu và hòa bình ngự trị.
````

Note: 120GB of pre-trained Vietnamese  data might not be enough for a general question about Vietnamese events.

## Training Details

**Hardware Type:**
  * GPU: VGA NVIDIA Tesla P100 16GB
  * SYSTEM RAM: 32GB
  
**Hours used:** ~47.5 days Approx*

### Training Data

* BactrianX 
* OpenOrca_translated 
* WizardLM_70k_translated 
* TigerLabMathInstruct_translated_vi 
* GradeSchoolMathInstruct_translated 
* vilm_lima-vi
* MTEngVietnamese 
* databricks_dolly15k_translated 
* AlpacaCleaned_translated 
* databricks_dolly15k
* OpenOrca
* GradeSchoolMathInstruct 
* AlpacaCleaned
* WebglmQA

### Training Procedure

<!-- This relates heavily to the Technical Specifications. Content here should link to that section when it is relevant to the training procedure. -->

* Learning rate: 2e-5 cosine
* Optimizer: PagedLion8bit
* QLora: rank: 64 /Q: 4-bit
* Batch size: 2
* Gradient accumulation: 128
* Effective batch size: 256
* 250k examples of 70% Vietnamese 30% English for 3.37 epoch
* 350k examples of 60% Vietnamese 40% English for 1.4 epoch

### Training loss

Last 10 runs:

![image/png](https://cdn-uploads.huggingface.co/production/uploads/63905e87df447b438817b2cd/rV8Go_YFZv7QcR_FhFxp-.png)

Each line is 12 hours

All run plots:

![image/png](https://cdn-uploads.huggingface.co/production/uploads/63905e87df447b438817b2cd/bxdq_0Mu8seBJCJNmpoEb.png)

A bad way to visualize i know...

## Evaluation

<!-- This section describes the evaluation protocols and provides the results. -->

![image/png](https://cdn-uploads.huggingface.co/production/uploads/63905e87df447b438817b2cd/z1ZTm7Tab4tQbVPgQW1hU.png)

Our model currently sits at TOP-5 on the VMLU benchmark

# [Open LLM Leaderboard Evaluation Results](https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard)
Detailed results can be found [here](https://huggingface.co/datasets/open-llm-leaderboard/details_1TuanPham__T-Llama)
|             Metric              |Value|
|---------------------------------|----:|
|Avg.                             |54.34|
|AI2 Reasoning Challenge (25-Shot)|54.18|
|HellaSwag (10-Shot)              |76.48|
|MMLU (5-Shot)                    |47.98|
|TruthfulQA (0-shot)              |46.47|
|Winogrande (5-shot)              |71.27|
|GSM8k (5-shot)                   |29.64|

## Citation

<!-- If there is a paper or blog post introducing the model, the APA and Bibtex information for that should go in this section. -->
```bibtex
@online{t-llama,
  author = {Pham Minh Tuan},
  title = {T-Llama: A New Language Model for Vietnamese}, % Placeholder
  year = 2024,
  url = {https://github.com/vTuanpham/Vietnamese_QA_System}
}
```