AIDXteam commited on
Commit
f6dcb97
β€’
1 Parent(s): 157ac85

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +12 -10
README.md CHANGED
@@ -28,8 +28,8 @@ pipeline_tag: text-generation
28
  - KTDSbaseLM v0.11은 총 3.6GB 크기의 데이터λ₯Ό λ°”νƒ•μœΌλ‘œ ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€. 총 233만 건의 QnA 데이터λ₯Ό ν¬ν•¨ν•˜λ©°,
29
  κ·Έ 쀑 133만 건은 135개 μ˜μ—­μ˜ 객관식 문제둜 κ΅¬μ„±λ˜μ—ˆμŠ΅λ‹ˆλ‹€. 이 μ˜μ—­μ—λŠ” ν•œκ΅­μ‚¬, μ‚¬νšŒ, 재무, 법λ₯ , 세무, μˆ˜ν•™, 생물, 물리, ν™”ν•™ 등이 ν¬ν•¨λ˜λ©°,
30
  Chain of Thought λ°©μ‹μœΌλ‘œ ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ 130만 건의 주관식 λ¬Έμ œλŠ” ν•œκ΅­μ‚¬, 재무, 법λ₯ , 세무, μˆ˜ν•™ λ“± 100개 μ˜μ—­μ— 걸쳐 ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
31
- - ν•™μŠ΅ Instruction Format:
32
- {"prompt": "<prompt text>", "completion": "<ideal generated text>"}
33
 
34
  ❸ μ‚¬μš© 사둀
35
  KTDSBaseLM v0.11은 λ‹€μ–‘ν•œ μ‘μš© λΆ„μ•Όμ—μ„œ μ‚¬μš©λ  수 μžˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄:
@@ -47,12 +47,14 @@ pipeline_tag: text-generation
47
  편ν–₯된 데이터가 포함될 경우 편ν–₯된 응닡이 생성될 κ°€λŠ₯성도 μ‘΄μž¬ν•©λ‹ˆλ‹€.
48
 
49
  ❺ μ‚¬μš© 방법
50
- >> from transformers import AutoModel, AutoTokenizer
51
-
52
- >> tokenizer = AutoTokenizer.from_pretrained("")
53
- >> model = AutoModel.from_pretrained("")
54
-
55
- >> inputs = tokenizer("μ•ˆλ…•ν•˜μ„Έμš”", return_tensors="pt")
56
- >> outputs = model(**inputs)
57
- >>
 
 
58
 
 
28
  - KTDSbaseLM v0.11은 총 3.6GB 크기의 데이터λ₯Ό λ°”νƒ•μœΌλ‘œ ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€. 총 233만 건의 QnA 데이터λ₯Ό ν¬ν•¨ν•˜λ©°,
29
  κ·Έ 쀑 133만 건은 135개 μ˜μ—­μ˜ 객관식 문제둜 κ΅¬μ„±λ˜μ—ˆμŠ΅λ‹ˆλ‹€. 이 μ˜μ—­μ—λŠ” ν•œκ΅­μ‚¬, μ‚¬νšŒ, 재무, 법λ₯ , 세무, μˆ˜ν•™, 생물, 물리, ν™”ν•™ 등이 ν¬ν•¨λ˜λ©°,
30
  Chain of Thought λ°©μ‹μœΌλ‘œ ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€. λ˜ν•œ 130만 건의 주관식 λ¬Έμ œλŠ” ν•œκ΅­μ‚¬, 재무, 법λ₯ , 세무, μˆ˜ν•™ λ“± 100개 μ˜μ—­μ— 걸쳐 ν•™μŠ΅λ˜μ—ˆμŠ΅λ‹ˆλ‹€.
31
+ - ν•™μŠ΅ Instruction Datasets Format:
32
+ {"prompt": "prompt text", "completion": "ideal generated text"}
33
 
34
  ❸ μ‚¬μš© 사둀
35
  KTDSBaseLM v0.11은 λ‹€μ–‘ν•œ μ‘μš© λΆ„μ•Όμ—μ„œ μ‚¬μš©λ  수 μžˆμŠ΅λ‹ˆλ‹€. 예λ₯Ό λ“€μ–΄:
 
47
  편ν–₯된 데이터가 포함될 경우 편ν–₯된 응닡이 생성될 κ°€λŠ₯성도 μ‘΄μž¬ν•©λ‹ˆλ‹€.
48
 
49
  ❺ μ‚¬μš© 방법
50
+ pre><code>
51
+ from transformers import AutoModel, AutoTokenizer
52
+
53
+ tokenizer = AutoTokenizer.from_pretrained("")
54
+ model = AutoModel.from_pretrained("")
55
+
56
+ inputs = tokenizer("μ•ˆλ…•ν•˜μ„Έμš”", return_tensors="pt")
57
+ outputs = model(**inputs)
58
+ </code></pre>
59
+
60