Savannah120's picture
Upload 7 files
240cab5
raw
history blame
4.19 kB
{
"additional_special_tokens": [
"[unused1]",
"[unused2]",
"[unused3]",
"[unused4]",
"[unused5]",
"[unused6]",
"[unused7]",
"[unused8]",
"[unused9]",
"[unused10]",
"[unused11]",
"[unused12]",
"[unused13]",
"[unused14]",
"[unused15]",
"[unused16]",
"[unused17]",
"[unused18]",
"[unused19]",
"[unused20]",
"[unused21]",
"[unused22]",
"[unused23]",
"[unused24]",
"[unused25]",
"[unused26]",
"[unused27]",
"[unused28]",
"[unused29]",
"[unused30]",
"[unused31]",
"[unused32]",
"[unused33]",
"[unused34]",
"[unused35]",
"[unused36]",
"[unused37]",
"[unused38]",
"[unused39]",
"[unused40]",
"[unused41]",
"[unused42]",
"[unused43]",
"[unused44]",
"[unused45]",
"[unused46]",
"[unused47]",
"[unused48]",
"[unused49]",
"[unused50]",
"[unused51]",
"[unused52]",
"[unused53]",
"[unused54]",
"[unused55]",
"[unused56]",
"[unused57]",
"[unused58]",
"[unused59]",
"[unused60]",
"[unused61]",
"[unused62]",
"[unused63]",
"[unused64]",
"[unused65]",
"[unused66]",
"[unused67]",
"[unused68]",
"[unused69]",
"[unused70]",
"[unused71]",
"[unused72]",
"[unused73]",
"[unused74]",
"[unused75]",
"[unused76]",
"[unused77]",
"[unused78]",
"[unused79]",
"[unused80]",
"[unused81]",
"[unused82]",
"[unused83]",
"[unused84]",
"[unused85]",
"[unused86]",
"[unused87]",
"[unused88]",
"[unused89]",
"[unused90]",
"[unused91]",
"[unused92]",
"[unused93]",
"[unused94]",
"[unused95]",
"[unused96]",
"[unused97]",
"[unused98]",
"[unused99]",
"[unused100]",
"[unused101]",
"[unused102]",
"[unused103]",
"[unused104]",
"[unused105]",
"[unused106]",
"[unused107]",
"[unused108]",
"[unused109]",
"[unused110]",
"[unused111]",
"[unused112]",
"[unused113]",
"[unused114]",
"[unused115]",
"[unused116]",
"[unused117]",
"[unused118]",
"[unused119]",
"[unused120]",
"[unused121]",
"[unused122]",
"[unused123]",
"[unused124]",
"[unused125]",
"[unused126]",
"[unused127]",
"[unused128]",
"[unused129]",
"[unused130]",
"[unused131]",
"[unused132]",
"[unused133]",
"[unused134]",
"[unused135]",
"[unused136]",
"[unused137]",
"[unused138]",
"[unused139]",
"[unused140]",
"[unused141]",
"[unused142]",
"[unused143]",
"[unused144]",
"[unused145]",
"[unused146]",
"[unused147]",
"[unused148]",
"[unused149]",
"[unused150]",
"[unused151]",
"[unused152]",
"[unused153]",
"[unused154]",
"[unused155]",
"[unused156]",
"[unused157]",
"[unused158]",
"[unused159]",
"[unused160]",
"[unused161]",
"[unused162]",
"[unused163]",
"[unused164]",
"[unused165]",
"[unused166]",
"[unused167]",
"[unused168]",
"[unused169]",
"[unused170]",
"[unused171]",
"[unused172]",
"[unused173]",
"[unused174]",
"[unused175]",
"[unused176]",
"[unused177]",
"[unused178]",
"[unused179]",
"[unused180]",
"[unused181]",
"[unused182]",
"[unused183]",
"[unused184]",
"[unused185]",
"[unused186]",
"[unused187]",
"[unused188]",
"[unused189]",
"[unused190]",
"[unused191]",
"[unused192]",
"[unused193]",
"[unused194]",
"[unused195]",
"[unused196]",
"[unused197]",
"[unused198]",
"[unused199]",
"[unused200]"
],
"cls_token": "[CLS]",
"do_basic_tokenize": true,
"do_lower_case": true,
"full_tokenizer_file": null,
"mask_token": "[MASK]",
"model_max_length": 4096,
"name_or_path": "/cognitive_comp/fanyuchen/model/macbert_large",
"never_split": null,
"pad_token": "[PAD]",
"sep_token": "[SEP]",
"special_tokens_map_file": null,
"strip_accents": null,
"tokenize_chinese_chars": true,
"tokenizer_class": "BertTokenizer",
"unk_token": "[UNK]"
}