Saxo commited on
Commit
84c15d1
โ€ข
1 Parent(s): a28b78d

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +1 -1
README.md CHANGED
@@ -27,7 +27,7 @@ pipeline_tag: text-generation
27
  </div>
28
 
29
 
30
- AI ์™€ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ „๋ฌธ ๊ธฐ์—…์ธ Linkbricks์˜ ๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ์ธ ์ง€์œค์„ฑ(Saxo) ์ด์‚ฌ๊ฐ€ gemma-2-27b-it ๋ฒ ์ด์Šค๋ชจ๋ธ์„ KT-CLOUD์ƒ์˜ H100-80G 4๊ฐœ๋ฅผ ํ†ตํ•ด SFT->DPO ํŒŒ์ธ ํŠœ๋‹์„ ํ•œ
31
  ํ•œ๊ธ€ ์–ธ์–ด ๋ชจ๋ธ๋กœ ํ•œ๊ตญ์–ด-์ค‘๊ตญ์–ด-์˜์–ด-์ผ๋ณธ์–ด ๊ต์ฐจ ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ๋กœ์ง€์ปฌ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•˜์—ฌ ํ•œ์ค‘์ผ์˜ ์–ธ์–ด ๊ต์ฐจ ์ฆ๊ฐ• ์ฒ˜๋ฆฌ์™€ ๋ณต์žกํ•œ ํ•œ๊ธ€ ๋…ผ๋ฆฌ ๋ฌธ์ œ ์—ญ์‹œ ๋Œ€์‘ ๊ฐ€๋Šฅํ•˜๋„๋ก ํ›ˆ๋ จํ•œ ๋ชจ๋ธ์ด๋ฉฐ ํ† ํฌ๋‚˜์ด์ €๋Š” ๋‹จ์–ด ํ™•์žฅ ์—†์ด ๋ฒ ์ด์Šค ๋ชจ๋ธ ๊ทธ๋Œ€๋กœ ์‚ฌ์šฉ.
32
  ํŠนํžˆ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ๋‚˜ ์†Œ์…œ ํฌ์ŠคํŒ… ๊ณ ์ฐจ์› ๋ถ„์„ ๋ฐ ์ฝ”๋”ฉ๋“ฑ์ด ๊ฐ•ํ™”๋œ ๋ชจ๋ธ
33
  -Deepspeed Stage=3, rslora ์‚ฌ์šฉ <br>
 
27
  </div>
28
 
29
 
30
+ AI ์™€ ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์ „๋ฌธ ๊ธฐ์—…์ธ Linkbricks์˜ ๋ฐ์ดํ„ฐ์‚ฌ์ด์–ธํ‹ฐ์ŠคํŠธ์ธ ์ง€์œค์„ฑ(Saxo) ๋ฐ•์‚ฌ๊ฐ€ gemma-2-27b-it ๋ฒ ์ด์Šค๋ชจ๋ธ์„ H100-80G 8๊ฐœ๋ฅผ ํ†ตํ•ด SFT->DPO ํŒŒ์ธ ํŠœ๋‹์„ ํ•œ
31
  ํ•œ๊ธ€ ์–ธ์–ด ๋ชจ๋ธ๋กœ ํ•œ๊ตญ์–ด-์ค‘๊ตญ์–ด-์˜์–ด-์ผ๋ณธ์–ด ๊ต์ฐจ ํ•™์Šต ๋ฐ์ดํ„ฐ์™€ ๋กœ์ง€์ปฌ ๋ฐ์ดํ„ฐ๋ฅผ ํ†ตํ•˜์—ฌ ํ•œ์ค‘์ผ์˜ ์–ธ์–ด ๊ต์ฐจ ์ฆ๊ฐ• ์ฒ˜๋ฆฌ์™€ ๋ณต์žกํ•œ ํ•œ๊ธ€ ๋…ผ๋ฆฌ ๋ฌธ์ œ ์—ญ์‹œ ๋Œ€์‘ ๊ฐ€๋Šฅํ•˜๋„๋ก ํ›ˆ๋ จํ•œ ๋ชจ๋ธ์ด๋ฉฐ ํ† ํฌ๋‚˜์ด์ €๋Š” ๋‹จ์–ด ํ™•์žฅ ์—†์ด ๋ฒ ์ด์Šค ๋ชจ๋ธ ๊ทธ๋Œ€๋กœ ์‚ฌ์šฉ.
32
  ํŠนํžˆ ๊ณ ๊ฐ ๋ฆฌ๋ทฐ๋‚˜ ์†Œ์…œ ํฌ์ŠคํŒ… ๊ณ ์ฐจ์› ๋ถ„์„ ๋ฐ ์ฝ”๋”ฉ๋“ฑ์ด ๊ฐ•ํ™”๋œ ๋ชจ๋ธ
33
  -Deepspeed Stage=3, rslora ์‚ฌ์šฉ <br>