add tokenizer

added_tokens.json

@@ -0,0 +1 @@
+{"capretto": 31327, "sandali": 31338, "oscurità": 31204, "radunò": 31189, "Betel": 31149, "presentarono": 31236, "aquila": 31347, "Zaccaria": 31138, "sterminio": 31282, "rivestì": 31243, "messaggero": 31254, "lebbra": 31214, "giogo": 31177, "greggi": 31144, "cedro": 31185, "discernimento": 31279, "rotolo": 31209, "furore": 31143, "Geroboamo": 31109, "Giudea": 31139, "Assiria": 31110, "ascoltò": 31303, "cubiti": 31108, "tribolazione": 31248, "Guai": 31141, "acacia": 31232, "Iesse": 31211, "odiano": 31272, "purificazione": 31283, "olocausti": 31113, "diluvio": 31342, "mangerete": 31179, "faraone": 31104, "Iearim": 31317, "mangeranno": 31286, "Damasco": 31167, "Giosafat": 31115, "salverà": 31318, "vedove": 31285, "benedetto": 31153, "peccatore": 31295, "toccò": 31270, "asino": 31165, "Agnello": 31267, "vitello": 31288, "inginocchiò": 31348, "Etiopia": 31266, "pascolo": 31268, "riferì": 31231, "comandamenti": 31126, "Neftali": 31140, "soffio": 31233, "Samuele": 31118, "lievito": 31228, "Farai": 31191, "centurione": 31326, "efod": 31154, "cetra": 31273, "Sallum": 31334, "Sansone": 31194, "Anania": 31324, "parlerò": 31333, "avvicinò": 31175, "partorito": 31261, "partorì": 31148, "scettro": 31297, "cherubini": 31132, "trasgressioni": 31331, "generò": 31111, "desolazione": 31328, "aurora": 31344, "Erode": 31208, "Beniamino": 31106, "mangerai": 31237, "nube": 31187, "moriranno": 31269, "Barnaba": 31207, "maestà": 31350, "scribi": 31164, "Sodoma": 31193, "montuosa": 31227, "peccare": 31202, "Iotam": 31239, "Issacar": 31166, "Tobia": 31235, "adorare": 31343, "libagioni": 31262, "eternità": 31345, "rigettato": 31321, "numeroso": 31292, "Giosuè": 31102, "ingiustizia": 31217, "Basan": 31174, "Nun": 31302, "Sion": 31112, "Aronne": 31103, "perseveranza": 31280, "Betsabea": 31291, "Rachele": 31192, "Tamar": 31290, "Giobbe": 31170, "temono": 31325, "fortezze": 31230, "fornace": 31311, "abitavano": 31200, "agguato": 31198, "malvagie": 31309, "omicida": 31216, "Eleazaro": 31122, "Betlemme": 31152, "buoi": 31196, "Ioacaz": 31203, "governatori": 31274, "alture": 31250, "sinagoga": 31213, "agnello": 31182, "suocero": 31337, "sdegno": 31304, "scacciò": 31306, "avvicinarono": 31222, "Asaf": 31199, "Amnon": 31329, "israeliti": 31180, "levita": 31298, "Gedeone": 31157, "libererà": 31346, "stoltezza": 31186, "Gerico": 31161, "inganno": 31215, "regnò": 31123, "Galilea": 31145, "sacerdozio": 31305, "carestia": 31159, "benevolenza": 31241, "giudei": 31226, "impura": 31251, "adulterio": 31249, "Mesullam": 31253, "Iefte": 31218, "messaggeri": 31135, "Manasse": 31116, "diventeranno": 31310, "asini": 31188, "Canaan": 31133, "risposero": 31128, "allontanò": 31244, "ostinato": 31258, "Roboamo": 31146, "primogeniti": 31247, "Zorobabele": 31197, "accampamenti": 31340, "comandanti": 31212, "malfattori": 31296, "occidente": 31195, "Balaam": 31156, "Ioas": 31151, "Baruc": 31341, "Labano": 31181, "Tarsis": 31336, "cammelli": 31155, "Ezechia": 31121, "Samaria": 31124, "Sennacherib": 31264, "costui": 31284, "diedi": 31300, "Mardocheo": 31127, "seppellirono": 31330, "Safan": 31315, "superbia": 31323, "Eliseo": 31136, "Esaù": 31129, "Altissimo": 31162, "risuscitato": 31163, "Testimonianza": 31316, "umiliato": 31320, "filistei": 31275, "Obed": 31289, "Ninive": 31221, "impuro": 31119, "Ismaele": 31158, "riferirono": 31278, "Eccomi": 31293, "misericordioso": 31314, "Uria": 31238, "cubito": 31260, "Adadezer": 31335, "esclamò": 31313, "porpora": 31160, "svergognati": 31281, "divorerà": 31277, "pregò": 31351, "Nabucodonosor": 31107, "Assuero": 31224, "Adonia": 31319, "parabola": 31322, "forestiero": 31252, "primizie": 31301, "regnare": 31256, "afflizione": 31276, "Nilo": 31206, "Simeone": 31147, "rugiada": 31183, "radunarono": 31184, "coppe": 31332, "accamparono": 31130, "convocò": 31271, "Artaserse": 31312, "accampamento": 31114, "Eufrate": 31255, "espiazione": 31150, "Negheb": 31242, "uccisero": 31210, "Onnipotente": 31173, "comandamento": 31223, "Abner": 31171, "olocausto": 31105, "cherubino": 31308, "idoli": 31117, "malvagità": 31142, "Pilato": 31176, "riempì": 31299, "mangiarono": 31263, "improvviso": 31245, "gridare": 31307, "montoni": 31257, "sicli": 31134, "nudità": 31294, "candelabro": 31225, "Succot": 31339, "domandò": 31190, "farisei": 31137, "impurità": 31201, "replicò": 31169, "Giosia": 31172, "Sidone": 31220, "scarlatto": 31168, "glorificato": 31349, "siclo": 31240, "cantori": 31246, "Acazia": 31234, "stanghe": 31259, "vanità": 31265, "incenso": 31125, "grembo": 31205, "caverna": 31219, "Isacco": 31120, "cisterna": 31287, "montone": 31178, "Sinai": 31229, "Acab": 31131}

special_tokens_map.json

@@ -0,0 +1 @@
+{"unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]"}

tokenizer_config.json

@@ -0,0 +1 @@
+{"do_lower_case": false, "unk_token": "[UNK]", "sep_token": "[SEP]", "pad_token": "[PAD]", "cls_token": "[CLS]", "mask_token": "[MASK]", "tokenize_chinese_chars": true, "strip_accents": null, "max_len": 512, "special_tokens_map_file": null, "name_or_path": "dbmdz/bert-base-italian-xxl-cased", "do_basic_tokenize": true, "never_split": null, "tokenizer_class": "BertTokenizer"}