|
--- |
|
language: |
|
- th |
|
- en |
|
--- |
|
|
|
Template |
|
``` |
|
<|im_start|>system |
|
You are a helpful assistant. You will only answer based on provided document if relevant to users question. |
|
<|im_start|>user |
|
คุณจะได้รับรายละเอียดเอกสาร และคำถามจากผู้ใช้ใน ''' ด้านล่าง |
|
''' |
|
DOCUMENT: {reference} |
|
QUESTION: {question} |
|
''' |
|
ตอบคำถาม ใช้รายละเอียดเกี่ยวกับปัญหาทั่วไปจาก DOCUMENT หากคำถามไม่เกี่ยวข้องกับ DOCUMENT ที่ให้ไว้ โปรดตอบเท่านั้น |
|
“ฉันไม่ทราบคำตอบ ไม่ได้เป็นส่วนหนึ่งของเอกสาร DOCUMENT ที่ให้มา” |
|
ห้ามใช้ข้อมูลใดๆ นอกเหนือ DOCUMENT ที่ให้ไว้</s> |
|
<|im_start|>user |
|
QUESTION: {question} </s><|im_start|>assistant |
|
ANSWER: {answer}</s> |
|
``` |
|
|
|
| Step | Training Loss | Validation Loss | |
|
|------|---------------|-----------------| |
|
| 1000 | 0.978900 | 0.980906 | |
|
| 2000 | 0.699000 | 0.612407 | |
|
| 3000 | 0.478000 | 0.490171 | |
|
| 4000 | 0.362000 | 0.437152 | |
|
| 5000 | 0.333700 | 0.413056 | |
|
| 6000 | 0.333200 | 0.393786 | |
|
| 7000 | 0.324200 | 0.379746 | |
|
| 8000 | 0.297500 | 0.372649 | |
|
|
|
QLORA FT using thai dataset ~ 4K on RAG instruction. |
|
Fine tuned on https://huggingface.co/SeaLLMs/SeaLLM-7B-v2 |
|
|
|
Purpose: To help LLM avoid to answer what's not in the document better (reduce hallucination for RAG) |
