Upload tokenizer
ddf42a7
verified
|
{ |
|
"<mask>": 262209, |
|
"ace_Arab": 262210, |
|
"ace_Latn": 262211, |
|
"acm_Arab": 262212, |
|
"acq_Arab": 262213, |
|
"aeb_Arab": 262214, |
|
"afr_Latn": 262215, |
|
"ajp_Arab": 262216, |
|
"aka_Latn": 262217, |
|
"als_Latn": 262218, |
|
"amh_Ethi": 262219, |
|
"apc_Arab": 262220, |
|
"arb_Arab": 262221, |
|
"ars_Arab": 262222, |
|
"ary_Arab": 262223, |
|
"arz_Arab": 262224, |
|
"asm_Beng": 262225, |
|
"ast_Latn": 262226, |
|
"awa_Deva": 262227, |
|
"ayr_Latn": 262228, |
|
"azb_Arab": 262229, |
|
"azj_Latn": 262230, |
|
"bak_Cyrl": 262231, |
|
"bam_Latn": 262232, |
|
"ban_Latn": 262233, |
|
"bel_Cyrl": 262234, |
|
"bem_Latn": 262235, |
|
"ben_Beng": 262236, |
|
"bho_Deva": 262237, |
|
"bjn_Arab": 262238, |
|
"bjn_Latn": 262239, |
|
"bod_Tibt": 262240, |
|
"bos_Latn": 262241, |
|
"bug_Latn": 262242, |
|
"bul_Cyrl": 262243, |
|
"cat_Latn": 262244, |
|
"ceb_Latn": 262245, |
|
"ces_Latn": 262246, |
|
"cjk_Latn": 262247, |
|
"ckb_Arab": 262248, |
|
"crh_Latn": 262249, |
|
"cym_Latn": 262250, |
|
"dan_Latn": 262251, |
|
"deu_Latn": 262252, |
|
"dik_Latn": 262253, |
|
"dyu_Latn": 262254, |
|
"dzo_Tibt": 262255, |
|
"ell_Grek": 262256, |
|
"eng_Latn": 262257, |
|
"epo_Latn": 262258, |
|
"est_Latn": 262259, |
|
"eus_Latn": 262260, |
|
"ewe_Latn": 262261, |
|
"fao_Latn": 262262, |
|
"fij_Latn": 262263, |
|
"fin_Latn": 262264, |
|
"fon_Latn": 262265, |
|
"fra_Latn": 262266, |
|
"fur_Latn": 262267, |
|
"fuv_Latn": 262268, |
|
"gaz_Latn": 262269, |
|
"gla_Latn": 262270, |
|
"gle_Latn": 262271, |
|
"glg_Latn": 262272, |
|
"grn_Latn": 262273, |
|
"guj_Gujr": 262274, |
|
"hat_Latn": 262275, |
|
"hau_Latn": 262276, |
|
"heb_Hebr": 262277, |
|
"hin_Deva": 262278, |
|
"hne_Deva": 262279, |
|
"hrv_Latn": 262280, |
|
"hun_Latn": 262281, |
|
"hye_Armn": 262282, |
|
"ibo_Latn": 262283, |
|
"ilo_Latn": 262284, |
|
"ind_Latn": 262285, |
|
"isl_Latn": 262286, |
|
"ita_Latn": 262287, |
|
"jav_Latn": 262288, |
|
"jpn_Jpan": 262289, |
|
"kab_Latn": 262290, |
|
"kac_Latn": 262291, |
|
"kam_Latn": 262292, |
|
"kan_Knda": 262293, |
|
"kas_Arab": 262294, |
|
"kas_Deva": 262295, |
|
"kat_Geor": 262296, |
|
"kaz_Cyrl": 262297, |
|
"kbp_Latn": 262298, |
|
"kea_Latn": 262299, |
|
"khk_Cyrl": 262300, |
|
"khm_Khmr": 262301, |
|
"kik_Latn": 262302, |
|
"kin_Latn": 262303, |
|
"kir_Cyrl": 262304, |
|
"kmb_Latn": 262305, |
|
"kmr_Latn": 262306, |
|
"knc_Arab": 262307, |
|
"knc_Latn": 262308, |
|
"kon_Latn": 262309, |
|
"kor_Hang": 262310, |
|
"lao_Laoo": 262311, |
|
"lij_Latn": 262312, |
|
"lim_Latn": 262313, |
|
"lin_Latn": 262314, |
|
"lit_Latn": 262315, |
|
"lmo_Latn": 262316, |
|
"ltg_Latn": 262317, |
|
"ltz_Latn": 262318, |
|
"lua_Latn": 262319, |
|
"lug_Latn": 262320, |
|
"luo_Latn": 262321, |
|
"lus_Latn": 262322, |
|
"lvs_Latn": 262323, |
|
"mag_Deva": 262324, |
|
"mai_Deva": 262325, |
|
"mal_Mlym": 262326, |
|
"mar_Deva": 262327, |
|
"min_Latn": 262328, |
|
"mkd_Cyrl": 262329, |
|
"mlt_Latn": 262330, |
|
"mni_Beng": 262331, |
|
"mos_Latn": 262332, |
|
"mri_Latn": 262333, |
|
"mya_Mymr": 262334, |
|
"myv_Cyrl": 262335, |
|
"nld_Latn": 262336, |
|
"nno_Latn": 262337, |
|
"nob_Latn": 262338, |
|
"npi_Deva": 262339, |
|
"nso_Latn": 262340, |
|
"nus_Latn": 262341, |
|
"nya_Latn": 262342, |
|
"oci_Latn": 262343, |
|
"ory_Orya": 262344, |
|
"pag_Latn": 262345, |
|
"pan_Guru": 262346, |
|
"pap_Latn": 262347, |
|
"pbt_Arab": 262348, |
|
"pes_Arab": 262349, |
|
"plt_Latn": 262350, |
|
"pol_Latn": 262351, |
|
"por_Latn": 262352, |
|
"prs_Arab": 262353, |
|
"quy_Latn": 262354, |
|
"ron_Latn": 262355, |
|
"run_Latn": 262356, |
|
"rus_Cyrl": 262357, |
|
"sag_Latn": 262358, |
|
"san_Deva": 262359, |
|
"sat_Beng": 262360, |
|
"scn_Latn": 262361, |
|
"shn_Mymr": 262362, |
|
"sin_Sinh": 262363, |
|
"slk_Latn": 262364, |
|
"slv_Latn": 262365, |
|
"smo_Latn": 262366, |
|
"sna_Latn": 262367, |
|
"snd_Arab": 262368, |
|
"som_Latn": 262369, |
|
"sot_Latn": 262370, |
|
"spa_Latn": 262371, |
|
"srd_Latn": 262372, |
|
"srp_Cyrl": 262373, |
|
"ssw_Latn": 262374, |
|
"sun_Latn": 262375, |
|
"swe_Latn": 262376, |
|
"swh_Latn": 262377, |
|
"szl_Latn": 262378, |
|
"tam_Taml": 262379, |
|
"taq_Latn": 262380, |
|
"taq_Tfng": 262381, |
|
"tat_Cyrl": 262382, |
|
"tel_Telu": 262383, |
|
"tgk_Cyrl": 262384, |
|
"tgl_Latn": 262385, |
|
"tha_Thai": 262386, |
|
"tir_Ethi": 262387, |
|
"tpi_Latn": 262388, |
|
"tsn_Latn": 262389, |
|
"tso_Latn": 262390, |
|
"tuk_Latn": 262391, |
|
"tum_Latn": 262392, |
|
"tur_Latn": 262393, |
|
"twi_Latn": 262394, |
|
"tzm_Tfng": 262395, |
|
"uig_Arab": 262396, |
|
"ukr_Cyrl": 262397, |
|
"umb_Latn": 262398, |
|
"urd_Arab": 262399, |
|
"uzn_Latn": 262400, |
|
"vec_Latn": 262401, |
|
"vie_Latn": 262402, |
|
"war_Latn": 262403, |
|
"wol_Latn": 262404, |
|
"xho_Latn": 262405, |
|
"ydd_Hebr": 262406, |
|
"yor_Latn": 262407, |
|
"yue_Hant": 262408, |
|
"zho_Hans": 262409, |
|
"zho_Hant": 262410, |
|
"zsm_Latn": 262411, |
|
"zul_Latn": 262412 |
|
} |
|
|