tokenizer_config.json

{
    "auto_map": {
        "AutoTokenizer": ["custom_tokenizer.CustomTokenizer", null]
    },
    "tokenizer_class": "CustomTokenizer"

}