justin871030
commited on
Commit
โข
563fe88
1
Parent(s):
59bf43f
Remove duplicate words in dictionary
Browse files- special_tokens_map.json +1 -1
- tokenizer_config.json +1 -1
- vocab.txt +2 -2
special_tokens_map.json
CHANGED
@@ -4,5 +4,5 @@
|
|
4 |
"pad_token": "[PAD]",
|
5 |
"cls_token": "[CLS]",
|
6 |
"mask_token": "[MASK]",
|
7 |
-
"additional_special_tokens": ["[NAME]", "[RELIGION]", "๐", "โค", "๐คฃ", "๐ญ", "๐", "โ", "๐", "๐ค", "๐ฆ", "๐", "๐ป", "๐คท", "๐ผ", "๐", "๐", "๐ฅ", "๐ข", "๐
", "๐", "๐", "โ", "โบ", "๐", "
|
8 |
}
|
|
|
4 |
"pad_token": "[PAD]",
|
5 |
"cls_token": "[CLS]",
|
6 |
"mask_token": "[MASK]",
|
7 |
+
"additional_special_tokens": ["[NAME]", "[RELIGION]", "๐", "โค", "๐คฃ", "๐ญ", "๐", "โ", "๐", "๐ค", "๐ฆ", "๐", "๐ป", "๐คท", "๐ผ", "๐", "๐", "๐ฅ", "๐ข", "๐
", "๐", "๐", "โ", "โบ", "๐", "๐ฏ", "๐ฆ", "๐", "๐", "๐คข", "๐", "๐", "๐", "๐", "๐คฆ", "๐", "๐", "๐", "๐ถ", "๐ค", "๐", "๐", "๐ค", "๐", "๐ฝ", "๐ช", "๐ก", "๐", "๐", "โ", "๐ช", "๐", "๐ฌ", "๐", "๐ฅ", "๐", "โ", "๐", "๐ฉ", "โน", "๐
", "๐ช", "๐", "๐ณ", "๐คช", "๐", "๐", "๐ซ", "๐", "๐คฎ", "๐ซ", "๐", "๐", "๐ฑ", "๐", "๐", "๐", "๐", "๐ค ", "โฃ", "๐คฉ", "๐", "๐", "๐", "๐", "๐ฉ", "โจ", "๐ฃ", "๐", "๐ค", "๐ฅ", "๐", "๐ฐ", "๐
", "๐", "๐ป", "๐ค", "๐", "๐ฆ", "๐", "๐ฎ", "โ", "๐", "๐ต", "๐จ", "โ", "๐", "๐", "๐ธ", "๐ฅ", "๐ค", "๐พ", "๐ฉ", "๐", "๐คฒ", "๐คค", "๐ง", "๐", "โ", "โซ", "๐", "๐ด", ":)", ":(", "XD", "xD", ":D", ":'("]
|
8 |
}
|
tokenizer_config.json
CHANGED
@@ -6,5 +6,5 @@
|
|
6 |
"pad_token": "[PAD]",
|
7 |
"cls_token": "[CLS]",
|
8 |
"mask_token": "[MASK]",
|
9 |
-
"additional_special_tokens": ["[NAME]", "[RELIGION]", "๐", "โค", "๐คฃ", "๐ญ", "๐", "โ", "๐", "๐ค", "๐ฆ", "๐", "๐ป", "๐คท", "๐ผ", "๐", "๐", "๐ฅ", "๐ข", "๐
", "๐", "๐", "โ", "โบ", "๐", "
|
10 |
}
|
|
|
6 |
"pad_token": "[PAD]",
|
7 |
"cls_token": "[CLS]",
|
8 |
"mask_token": "[MASK]",
|
9 |
+
"additional_special_tokens": ["[NAME]", "[RELIGION]", "๐", "โค", "๐คฃ", "๐ญ", "๐", "โ", "๐", "๐ค", "๐ฆ", "๐", "๐ป", "๐คท", "๐ผ", "๐", "๐", "๐ฅ", "๐ข", "๐
", "๐", "๐", "โ", "โบ", "๐", "๐ฏ", "๐ฆ", "๐", "๐", "๐คข", "๐", "๐", "๐", "๐", "๐คฆ", "๐", "๐", "๐", "๐ถ", "๐ค", "๐", "๐", "๐ค", "๐", "๐ฝ", "๐ช", "๐ก", "๐", "๐", "โ", "๐ช", "๐", "๐ฌ", "๐", "๐ฅ", "๐", "โ", "๐", "๐ฉ", "โน", "๐
", "๐ช", "๐", "๐ณ", "๐คช", "๐", "๐", "๐ซ", "๐", "๐คฎ", "๐ซ", "๐", "๐", "๐ฑ", "๐", "๐", "๐", "๐", "๐ค ", "โฃ", "๐คฉ", "๐", "๐", "๐", "๐", "๐ฉ", "โจ", "๐ฃ", "๐", "๐ค", "๐ฅ", "๐", "๐ฐ", "๐
", "๐", "๐ป", "๐ค", "๐", "๐ฆ", "๐", "๐ฎ", "โ", "๐", "๐ต", "๐จ", "โ", "๐", "๐", "๐ธ", "๐ฅ", "๐ค", "๐พ", "๐ฉ", "๐", "๐คฒ", "๐คค", "๐ง", "๐", "โ", "โซ", "๐", "๐ด", ":)", ":(", "XD", "xD", ":D", ":'("]
|
10 |
}
|
vocab.txt
CHANGED
@@ -127,7 +127,6 @@
|
|
127 |
โ
|
128 |
โบ
|
129 |
๐
|
130 |
-
โฅ
|
131 |
๐ฏ
|
132 |
๐ฆ
|
133 |
๐
|
@@ -161,7 +160,6 @@
|
|
161 |
๐
|
162 |
โ
|
163 |
๐
|
164 |
-
โข
|
165 |
๐ฉ
|
166 |
โน
|
167 |
๐
|
@@ -232,6 +230,8 @@ XD
|
|
232 |
xD
|
233 |
:D
|
234 |
:'(
|
|
|
|
|
235 |
[unused229]
|
236 |
[unused230]
|
237 |
[unused231]
|
|
|
127 |
โ
|
128 |
โบ
|
129 |
๐
|
|
|
130 |
๐ฏ
|
131 |
๐ฆ
|
132 |
๐
|
|
|
160 |
๐
|
161 |
โ
|
162 |
๐
|
|
|
163 |
๐ฉ
|
164 |
โน
|
165 |
๐
|
|
|
230 |
xD
|
231 |
:D
|
232 |
:'(
|
233 |
+
[unused227]
|
234 |
+
[unused228]
|
235 |
[unused229]
|
236 |
[unused230]
|
237 |
[unused231]
|