Update README.md
Browse files
README.md
CHANGED
@@ -17,7 +17,7 @@ widget:
|
|
17 |
- Learning Rate: 6e-4, Batch Size: 4(x8), Scheudler: Linear, WarmUp: 1000 step
|
18 |
- adam_beta1=0.9 adam_beta2=0.98, weight_decay=0.01
|
19 |
- Training Steps: 625000 (3 epoch)
|
20 |
-
- 학습 토큰 수:
|
21 |
- 학습 기간: 2022/12/21 ~ 2022/12/25
|
22 |
|
23 |
## 학습에 사용한 데이터
|
@@ -31,12 +31,11 @@ widget:
|
|
31 |
- 국립국어원 일상대화 말뭉치(29.5MB)
|
32 |
- 국립국어원 문어 말뭉치(2.91GB)
|
33 |
- 국립국어원 구어 말뭉치(1.1GB)
|
34 |
-
- 국립국어원 뉴스 말뭉치(14.16GB)
|
35 |
- 청와대 국민청원(651.8MB)
|
36 |
- KcBERT Pre-Training Corpus(11.86GB)
|
37 |
|
38 |
데이터셋 크기는 전처리한 jsonl파일을 기준으로 함.
|
39 |
-
총 토큰 수는 약
|
40 |
|
41 |
## 사용 예시
|
42 |
```python
|
|
|
17 |
- Learning Rate: 6e-4, Batch Size: 4(x8), Scheudler: Linear, WarmUp: 1000 step
|
18 |
- adam_beta1=0.9 adam_beta2=0.98, weight_decay=0.01
|
19 |
- Training Steps: 625000 (3 epoch)
|
20 |
+
- 학습 토큰 수: 19.22B (625000step * 1024seq * 8dev * 4batch / 1024^3)
|
21 |
- 학습 기간: 2022/12/21 ~ 2022/12/25
|
22 |
|
23 |
## 학습에 사용한 데이터
|
|
|
31 |
- 국립국어원 일상대화 말뭉치(29.5MB)
|
32 |
- 국립국어원 문어 말뭉치(2.91GB)
|
33 |
- 국립국어원 구어 말뭉치(1.1GB)
|
|
|
34 |
- 청와대 국민청원(651.8MB)
|
35 |
- KcBERT Pre-Training Corpus(11.86GB)
|
36 |
|
37 |
데이터셋 크기는 전처리한 jsonl파일을 기준으로 함.
|
38 |
+
총 토큰 수는 약 6.4B임
|
39 |
|
40 |
## 사용 예시
|
41 |
```python
|