Add special tokens

Browse files

Files changed (5) hide show

config.json +8 -1
pytorch_model.bin +2 -2
special_tokens_map.json +1 -1
tokenizer_config.json +1 -1
vocab.txt +128 -128

config.json CHANGED Viewed

@@ -1,9 +1,12 @@
 {
   "architectures": [
     "BertForMultiLabelClassification"
   ],
   "attention_probs_dropout_prob": 0.1,
   "finetuning_task": "goemotions",
   "hidden_act": "gelu",
   "hidden_dropout_prob": 0.1,
   "hidden_size": 768,
@@ -27,6 +30,10 @@
   "num_attention_heads": 12,
   "num_hidden_layers": 12,
   "pad_token_id": 0,
   "type_vocab_size": 2,
-  "vocab_size": 30524
 }

 {
+  "_name_or_path": "bert-base-uncased",
   "architectures": [
     "BertForMultiLabelClassification"
   ],
   "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
   "finetuning_task": "goemotions",
+  "gradient_checkpointing": false,
   "hidden_act": "gelu",
   "hidden_dropout_prob": 0.1,
   "hidden_size": 768,
   "num_attention_heads": 12,
   "num_hidden_layers": 12,
   "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.13.0",
   "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 30522
 }

pytorch_model.bin CHANGED Viewed

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:5e05799466f321e500385dc4923055ca1b4433673d6f6e7d88eaa960af7feb79
-size 438098541

 version https://git-lfs.github.com/spec/v1
+oid sha256:b40f65aee2618e231cead2810657c9e997825bf7133dfc187736ca3c6d8f17e0
+size 438023019

special_tokens_map.json CHANGED Viewed

@@ -4,5 +4,5 @@
   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
-  "additional_special_tokens": ["[NAME]", "[RELIGION]"]
 }

   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
+  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "♥", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "™", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
 }

tokenizer_config.json CHANGED Viewed

@@ -6,5 +6,5 @@
   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
-  "additional_special_tokens": ["[NAME]", "[RELIGION]"]
 }

   "pad_token": "[PAD]",
   "cls_token": "[CLS]",
   "mask_token": "[MASK]",
+  "additional_special_tokens": ["[NAME]", "[RELIGION]", "😂", "❤", "🤣", "😭", "👏", "♀", "😍", "🤔", "🦀", "👍", "🏻", "🤷", "🏼", "🙄", "😊", "🔥", "😢", "😅", "💜", "👌", "♂", "☺", "😎", "♥", "💯", "💦", "😁", "😔", "🤢", "💕", "🙏", "😉", "🙌", "🤦", "🙃", "😆", "😘", "🎶", "😤", "😏", "😀", "🤗", "😐", "🏽", "💪", "😡", "🎉", "👀", "✔", "🔪", "😄", "😬", "💖", "😥", "😒", "✌", "💃", "™", "😩", "☹", "💅", "😪", "👑", "😳", "🤪", "😕", "🎂", "😫", "💙", "🤮", "🚫", "😞", "💎", "😱", "😑", "😖", "🏊", "🙈", "🤠", "❣", "🤩", "🙂", "👊", "💛", "💓", "👩", "✨", "😣", "💗", "🤞", "🥀", "🚓", "😰", "👅", "😝", "🍻", "🤕", "😜", "🦈", "😃", "😮", "✊", "💚", "🎵", "💨", "☁", "🌈", "💄", "👸", "💥", "🖤", "🏾", "🍩", "😋", "🤲", "🤤", "🧛", "😇", "❄", "▫", "💁", "😴", ":)", ":(", "XD", "xD", ":D", ":'("]
 }

vocab.txt CHANGED Viewed

@@ -104,134 +104,134 @@
 [MASK]
 [NAME]
 [RELIGION]
-[unused101]
-[unused102]
-[unused103]
-[unused104]
-[unused105]
-[unused106]
-[unused107]
-[unused108]
-[unused109]
-[unused110]
-[unused111]
-[unused112]
-[unused113]
-[unused114]
-[unused115]
-[unused116]
-[unused117]
-[unused118]
-[unused119]
-[unused120]
-[unused121]
-[unused122]
-[unused123]
-[unused124]
-[unused125]
-[unused126]
-[unused127]
-[unused128]
-[unused129]
-[unused130]
-[unused131]
-[unused132]
-[unused133]
-[unused134]
-[unused135]
-[unused136]
-[unused137]
-[unused138]
-[unused139]
-[unused140]
-[unused141]
-[unused142]
-[unused143]
-[unused144]
-[unused145]
-[unused146]
-[unused147]
-[unused148]
-[unused149]
-[unused150]
-[unused151]
-[unused152]
-[unused153]
-[unused154]
-[unused155]
-[unused156]
-[unused157]
-[unused158]
-[unused159]
-[unused160]
-[unused161]
-[unused162]
-[unused163]
-[unused164]
-[unused165]
-[unused166]
-[unused167]
-[unused168]
-[unused169]
-[unused170]
-[unused171]
-[unused172]
-[unused173]
-[unused174]
-[unused175]
-[unused176]
-[unused177]
-[unused178]
-[unused179]
-[unused180]
-[unused181]
-[unused182]
-[unused183]
-[unused184]
-[unused185]
-[unused186]
-[unused187]
-[unused188]
-[unused189]
-[unused190]
-[unused191]
-[unused192]
-[unused193]
-[unused194]
-[unused195]
-[unused196]
-[unused197]
-[unused198]
-[unused199]
-[unused200]
-[unused201]
-[unused202]
-[unused203]
-[unused204]
-[unused205]
-[unused206]
-[unused207]
-[unused208]
-[unused209]
-[unused210]
-[unused211]
-[unused212]
-[unused213]
-[unused214]
-[unused215]
-[unused216]
-[unused217]
-[unused218]
-[unused219]
-[unused220]
-[unused221]
-[unused222]
-[unused223]
-[unused224]
-[unused225]
-[unused226]
-[unused227]
-[unused228]
 [unused229]
 [unused230]
 [unused231]

 [MASK]
 [NAME]
 [RELIGION]
+😂
+❤
+🤣
+😭
+👏
+♀
+😍
+🤔
+🦀
+👍
+🏻
+🤷
+🏼
+🙄
+😊
+🔥
+😢
+😅
+💜
+👌
+♂
+☺
+😎
+♥
+💯
+💦
+😁
+😔
+🤢
+💕
+🙏
+😉
+🙌
+🤦
+🙃
+😆
+😘
+🎶
+😤
+😏
+😀
+🤗
+😐
+🏽
+💪
+😡
+🎉
+👀
+✔
+🔪
+😄
+😬
+💖
+😥
+😒
+✌
+💃
+™
+😩
+☹
+💅
+😪
+👑
+😳
+🤪
+😕
+🎂
+😫
+💙
+🤮
+🚫
+😞
+💎
+😱
+😑
+😖
+🏊
+🙈
+🤠
+❣
+🤩
+🙂
+👊
+💛
+💓
+👩
+✨
+😣
+💗
+🤞
+🥀
+🚓
+😰
+👅
+😝
+🍻
+🤕
+😜
+🦈
+😃
+😮
+✊
+💚
+🎵
+💨
+☁
+🌈
+💄
+👸
+💥
+🖤
+🏾
+🍩
+😋
+🤲
+🤤
+🧛
+😇
+❄
+▫
+💁
+😴
+:)
+:(
+XD
+xD
+:D
+:'(
 [unused229]
 [unused230]
 [unused231]