| { | |
| "additional_special_tokens": [ | |
| "<|bos|>", | |
| "<|pad|>", | |
| "<|unk|>", | |
| "<|start_header_id|>", | |
| "<|end_header_id|>", | |
| "<|eot_id|>", | |
| "<|unused_1|>", | |
| "<|unused_2|>", | |
| "<|unused_3|>", | |
| "<|unused_4|>", | |
| "<|unused_5|>", | |
| "<|unused_6|>", | |
| "<|unused_7|>", | |
| "<|unused_8|>", | |
| "<|unused_9|>", | |
| "<|unused_10|>", | |
| "<|unused_11|>", | |
| "<|unused_12|>", | |
| "<|unused_13|>", | |
| "<|unused_14|>", | |
| "<|unused_15|>", | |
| "<|unused_16|>", | |
| "<|unused_17|>", | |
| "<|unused_18|>", | |
| "<|unused_19|>", | |
| "<|unused_20|>", | |
| "<|unused_21|>", | |
| "<|unused_22|>", | |
| "<|unused_23|>", | |
| "<|unused_24|>", | |
| "<|unused_25|>", | |
| "<|unused_26|>", | |
| "<|unused_27|>", | |
| "<|unused_28|>", | |
| "<|unused_29|>", | |
| "<|unused_30|>", | |
| "<|unused_31|>", | |
| "<|unused_32|>", | |
| "<|unused_33|>", | |
| "<|unused_34|>", | |
| "<|unused_35|>", | |
| "<|unused_36|>", | |
| "<|unused_37|>", | |
| "<|unused_38|>", | |
| "<|unused_39|>", | |
| "<|unused_40|>", | |
| "<|unused_41|>" | |
| ], | |
| "bos_token": { | |
| "content": "<|bos|>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "eos_token": { | |
| "content": "<|endoftext|>", | |
| "lstrip": false, | |
| "normalized": true, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "pad_token": { | |
| "content": "<|pad|>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| }, | |
| "unk_token": { | |
| "content": "<|unk|>", | |
| "lstrip": false, | |
| "normalized": false, | |
| "rstrip": false, | |
| "single_word": false | |
| } | |
| } | |