|
{ |
|
"additional_special_tokens": [ |
|
"<mask_1>", |
|
"<unk_2>", |
|
"<unk_3>", |
|
"<unk_4>", |
|
"<unk_5>", |
|
"<unk_6>", |
|
"<unk_7>", |
|
"<unk_8>", |
|
"<unk_9>", |
|
"<unk_10>", |
|
"<unk_11>", |
|
"<unk_12>", |
|
"<unk_13>", |
|
"<unk_14>", |
|
"<unk_15>", |
|
"<unk_16>", |
|
"<unk_17>", |
|
"<unk_18>", |
|
"<unk_19>", |
|
"<unk_20>", |
|
"<unk_21>", |
|
"<unk_22>", |
|
"<unk_23>", |
|
"<unk_24>", |
|
"<unk_25>", |
|
"<unk_26>", |
|
"<unk_27>", |
|
"<unk_28>", |
|
"<unk_29>", |
|
"<unk_30>", |
|
"<unk_31>", |
|
"<unk_32>", |
|
"<unk_33>", |
|
"<unk_34>", |
|
"<unk_35>", |
|
"<unk_36>", |
|
"<unk_37>", |
|
"<unk_38>", |
|
"<unk_39>", |
|
"<unk_40>", |
|
"<unk_41>", |
|
"<unk_42>", |
|
"<unk_43>", |
|
"<unk_44>", |
|
"<unk_45>", |
|
"<unk_46>", |
|
"<unk_47>", |
|
"<unk_48>", |
|
"<unk_49>", |
|
"<unk_50>", |
|
"<unk_51>", |
|
"<unk_52>", |
|
"<unk_53>", |
|
"<unk_54>", |
|
"<unk_55>", |
|
"<unk_56>", |
|
"<unk_57>", |
|
"<unk_58>", |
|
"<unk_59>", |
|
"<unk_60>", |
|
"<unk_61>", |
|
"<unk_62>", |
|
"<unk_63>", |
|
"<unk_64>", |
|
"<unk_65>", |
|
"<unk_66>", |
|
"<unk_67>", |
|
"<unk_68>", |
|
"<unk_69>", |
|
"<unk_70>", |
|
"<unk_71>", |
|
"<unk_72>", |
|
"<unk_73>", |
|
"<unk_74>", |
|
"<unk_75>", |
|
"<unk_76>", |
|
"<unk_77>", |
|
"<unk_78>", |
|
"<unk_79>", |
|
"<unk_80>", |
|
"<unk_81>", |
|
"<unk_82>", |
|
"<unk_83>", |
|
"<unk_84>", |
|
"<unk_85>", |
|
"<unk_86>", |
|
"<unk_87>", |
|
"<unk_88>", |
|
"<unk_89>", |
|
"<unk_90>", |
|
"<unk_91>", |
|
"<unk_92>", |
|
"<unk_93>", |
|
"<unk_94>", |
|
"<unk_95>", |
|
"<unk_96>", |
|
"<unk_97>", |
|
"<unk_98>", |
|
"<unk_99>", |
|
"<unk_100>", |
|
"<unk_101>", |
|
"<unk_102>" |
|
], |
|
"clean_up_tokenization_spaces": true, |
|
"eos_token": "</s>", |
|
"full_tokenizer_file": null, |
|
"mask_token": "<mask_2>", |
|
"mask_token_sent": "<mask_1>", |
|
"model_max_length": 1024, |
|
"offset": 103, |
|
"pad_token": "<pad>", |
|
"sp_model_kwargs": {}, |
|
"tokenizer_class": "PegasusTokenizer", |
|
"unk_token": "<unk>", |
|
"useFast": false |
|
} |
|
|