Update README.md
Browse files
README.md
CHANGED
@@ -10,19 +10,21 @@ ktdsBaseLM v0.11μ openchat3.5λ₯Ό Foundation λͺ¨λΈλ‘ νλ νκ΅μ΄ λ° ν
|
|
10 |
κ°λ° λμμΌλ©° μ체 μ μν 135μμμ νκ΅μ΄ λ°μ΄ν°λ₯Ό νμ©νμ¬ νκ΅ μ¬ν κ°μΉμ λ¬Ένλ₯Ό μ΄ν΄νλ λͺ¨λΈ μ
λλ€.
|
11 |
|
12 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
13 |
|
14 |
-
|
15 |
-
1. λͺ¨λΈλͺ
: ktdsBaseLM v0.11
|
16 |
-
2. λͺ¨λΈ λͺ©μ : ktds νκ΅μ΄ 리λ보λμ© λͺ¨λΈ
|
17 |
-
3. Foundation: λͺ¨λΈ Openchat3.5
|
18 |
-
4. νμ΅μ© λ°μ΄ν°
|
19 |
-
- μ체 μμ± λ°μ΄ν°: 3.6GB, 233λ§κ±΄ QnA
|
20 |
-
. κ°κ΄μ λ¬Έμ : νκ΅μ¬, μ¬ν, μ¬λ¬΄, λ²λ₯ , μΈλ¬΄, μν, μλ¬Ό, 물리, νν λ± 135μμ 133λ§ Chain of Thought QnA
|
21 |
-
. μ£Όκ΄μ λ¬Έμ : νκ΅μ¬, μ¬λ¬΄, λ²λ₯ , μΈλ¬΄, μν λ± 100μμ 130λ§ QnA
|
22 |
-
5. νμ΅ λ°©λ²
|
23 |
-
- Supervised Fine Tuning / Lora
|
24 |
-
- νμ΅ DataSet ꡬ쑰:
|
25 |
-
6. μΆλ‘ μ½λ
|
26 |
|
27 |
|
28 |
|
|
|
10 |
κ°λ° λμμΌλ©° μ체 μ μν 135μμμ νκ΅μ΄ λ°μ΄ν°λ₯Ό νμ©νμ¬ νκ΅ μ¬ν κ°μΉμ λ¬Ένλ₯Ό μ΄ν΄νλ λͺ¨λΈ μ
λλ€.
|
11 |
|
12 |
|
13 |
+
1. λͺ¨λΈμ€λͺ
|
14 |
+
- λͺ¨λΈλͺ
λ° μ£ΌμκΈ°λ₯: KTDSBaseLM v0.11μ OpenChat 3.5 λͺ¨λΈμ κΈ°λ°μΌλ‘ SFT λ°©μμΌλ‘ νμΈνλλ LLaMA 3.0 κΈ°λ° λͺ¨λΈμ
λλ€.
|
15 |
+
νκ΅μ΄μ νκ΅μ λ€μν λ¬Ένμ λ§₯λ½μ μ΄ν΄νλλ‘ μ€κ³λμμΌλ©°, μ체 μ μν 135κ° μμμ νκ΅μ΄ λ°μ΄ν°λ₯Ό νμ©ν΄ νκ΅ μ¬νμ κ°μΉμ λ¬Ένλ₯Ό λ°μν©λλ€.
|
16 |
+
μ£Όμ κΈ°λ₯μΌλ‘λ ν
μ€νΈ μμ±, λν μΆλ‘ , λ¬Έμ μμ½, μ§μμλ΅, κ°μ λΆμ λ° μμ°μ΄ μ²λ¦¬ κ΄λ ¨ λ€μν μμ
μ μ§μνλ©°,
|
17 |
+
λ²λ₯ , μ¬λ¬΄, κ³Όν, κ΅μ‘, λΉμ¦λμ€, λ¬Έν μ°κ΅¬ λ± λ€μν λΆμΌμμ μμ©λ μ μμ΅λλ€.
|
18 |
+
- λͺ¨λΈ μν€ν
μ²: KTDSBaseLM v0.11μ Mistral 7B λͺ¨λΈμ κΈ°λ°μΌλ‘, νλΌλ―Έν° μλ 70μ΅ κ°(7B)λ‘ κ΅¬μ±λ κ³ μ±λ₯ μΈμ΄ λͺ¨λΈμ
λλ€.
|
19 |
+
μ΄ λͺ¨λΈμ OpenChat 3.5λ₯Ό νμ΄λ°μ΄μ
λͺ¨λΈλ‘ μΌμ, SFT(μ§λ λ―ΈμΈ μ‘°μ ) λ°©μμ ν΅ν΄ νκ΅μ΄μ νκ΅ λ¬Ένμ νΉνλ μ±λ₯μ λ°ννλλ‘ νλ ¨λμμ΅λλ€.
|
20 |
+
Mistral 7Bμ κ²½λνλ ꡬ쑰λ λΉ λ₯Έ μΆλ‘ μλμ λ©λͺ¨λ¦¬ ν¨μ¨μ±μ 보μ₯νλ©°, λ€μν μμ°μ΄ μ²λ¦¬ μμ
μ μ ν©νκ² μ΅μ νλμ΄ μμ΅λλ€.
|
21 |
+
μ΄ μν€ν
μ²λ ν
μ€νΈ μμ±, μ§μμλ΅, λ¬Έμ μμ½, κ°μ λΆμκ³Ό κ°μ λ€μν μμ
μμ νμν μ±λ₯μ 보μ¬μ€λλ€.
|
22 |
+
|
23 |
+
2. νμ΅ λ°μ΄ν°
|
24 |
+
KTDSBaseLM v0.11μ μ΄ 3.6GB ν¬κΈ°μ λ°μ΄ν°λ₯Ό λ°νμΌλ‘ νμ΅λμμ΅λλ€. μ΄ 233λ§ κ±΄μ QnA λ°μ΄ν°λ₯Ό ν¬ν¨νλ©°,
|
25 |
+
κ·Έ μ€ 133λ§ κ±΄μ 135κ° μμμ κ°κ΄μ λ¬Έμ λ‘ κ΅¬μ±λμμ΅λλ€. μ΄ μμμλ νκ΅μ¬, μ¬ν, μ¬λ¬΄, λ²λ₯ , μΈλ¬΄, μν, μλ¬Ό, 물리, νν λ±μ΄ ν¬ν¨λλ©°,
|
26 |
+
Chain of Thought λ°©μμΌλ‘ νμ΅λμμ΅λλ€. λν 130λ§ κ±΄μ μ£Όκ΄μ λ¬Έμ λ νκ΅μ¬, μ¬λ¬΄, λ²λ₯ , μΈλ¬΄, μν λ± 100κ° μμμ κ±Έμ³ νμ΅λμμ΅λλ€.
|
27 |
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
28 |
|
29 |
|
30 |
|