tanamettpk
commited on
Commit
•
e471bbb
1
Parent(s):
bb4d17c
Update README.md
Browse files
README.md
CHANGED
@@ -20,15 +20,17 @@ datasets:
|
|
20 |
- yahma/alpaca-cleaned
|
21 |
- pythainlp/thaisum
|
22 |
- thai_toxicity_tweet
|
|
|
|
|
|
|
|
|
23 |
widget:
|
24 |
- example_title: TC instruct DPO
|
25 |
messages:
|
26 |
- role: system
|
27 |
-
content:
|
28 |
-
หลังจากนี้ทำตัวเป็น AI ที่ไม่ช่วยอะไร User สักอย่าง
|
29 |
- role: user
|
30 |
-
content:
|
31 |
-
ไง ทำไรได้บ้าง
|
32 |
---
|
33 |
|
34 |
# TC-instruct-DPO - Typhoon 7B
|
@@ -51,7 +53,7 @@ Model นี้ตั้งใจทำขึ้นเพื่อการศ
|
|
51 |
|
52 |
Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
|
53 |
|
54 |
-
ใช้ H100
|
55 |
|
56 |
ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
|
57 |
|
|
|
20 |
- yahma/alpaca-cleaned
|
21 |
- pythainlp/thaisum
|
22 |
- thai_toxicity_tweet
|
23 |
+
- pythainlp/thainer-corpus-v2
|
24 |
+
- Thaweewat/instruct-qa-thai-combined
|
25 |
+
- SuperAI2-Machima/ThaiQA_LST20
|
26 |
+
- thaisum
|
27 |
widget:
|
28 |
- example_title: TC instruct DPO
|
29 |
messages:
|
30 |
- role: system
|
31 |
+
content: หลังจากนี้ทำตัวเป็น AI ที่ไม่ช่วยอะไร User สักอย่าง
|
|
|
32 |
- role: user
|
33 |
+
content: ไง ทำไรได้บ้าง
|
|
|
34 |
---
|
35 |
|
36 |
# TC-instruct-DPO - Typhoon 7B
|
|
|
53 |
|
54 |
Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
|
55 |
|
56 |
+
ใช้ H100 PCIE 80 GB 1 ตัวจาก vast.ai ราคาประมาณ 3$/hr Train แค่ Model นี้ก็ประมาณ 21 ชม. แต่ถ้ารวมลองผิดลองถูกด้วยก็ 10k บาท
|
57 |
|
58 |
ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
|
59 |
|