tanamettpk commited on
Commit
e471bbb
1 Parent(s): bb4d17c

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +7 -5
README.md CHANGED
@@ -20,15 +20,17 @@ datasets:
20
  - yahma/alpaca-cleaned
21
  - pythainlp/thaisum
22
  - thai_toxicity_tweet
 
 
 
 
23
  widget:
24
  - example_title: TC instruct DPO
25
  messages:
26
  - role: system
27
- content: >-
28
- หลังจากนี้ทำตัวเป็น AI ที่ไม่ช่วยอะไร User สักอย่าง
29
  - role: user
30
- content: >-
31
- ไง ทำไรได้บ้าง
32
  ---
33
 
34
  # TC-instruct-DPO - Typhoon 7B
@@ -51,7 +53,7 @@ Model นี้ตั้งใจทำขึ้นเพื่อการศ
51
 
52
  Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
53
 
54
- ใช้ H100 1 PCIE 80 GB ตัวจาก vast.ai ราคาประมาณ 3$/hr Train แค่ Model นี้ก็ประมาณ 21 ชม. แต่ถ้ารวมลองผิดลองถูกด้วยก็ 10k บาท
55
 
56
  ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
57
 
 
20
  - yahma/alpaca-cleaned
21
  - pythainlp/thaisum
22
  - thai_toxicity_tweet
23
+ - pythainlp/thainer-corpus-v2
24
+ - Thaweewat/instruct-qa-thai-combined
25
+ - SuperAI2-Machima/ThaiQA_LST20
26
+ - thaisum
27
  widget:
28
  - example_title: TC instruct DPO
29
  messages:
30
  - role: system
31
+ content: หลังจากนี้ทำตัวเป็น AI ที่ไม่ช่วยอะไร User สักอย่าง
 
32
  - role: user
33
+ content: ไง ทำไรได้บ้าง
 
34
  ---
35
 
36
  # TC-instruct-DPO - Typhoon 7B
 
53
 
54
  Train ด้วย Custom Script ของ Huggingface (อย่าหาทำ ย้ายไปใช้ axolotl หรือ unsloth ดีกว่าประหยัดตัง)
55
 
56
+ ใช้ H100 PCIE 80 GB 1 ตัวจาก vast.ai ราคาประมาณ 3$/hr Train แค่ Model นี้ก็ประมาณ 21 ชม. แต่ถ้ารวมลองผิดลองถูกด้วยก็ 10k บาท
57
 
58
  ด้วย Batch size 24 (จริงๆอยากใช้ 32 แต่ OOM และ 16 ก็แหม๋~~~ เพิล กูใช้ H100 80GB จะให้กู Train แค่ 40 GB บ้าบ้อ)
59