ewe-tokenizer-v1 / special_tokens_map.json
worldboss's picture
Upload tokenizer
9f6884d verified
raw
history blame contribute delete
No virus
1.17 kB
{
"additional_special_tokens": [
"a",
"E",
"e",
"Ɛ",
"ɛ",
"Ə",
"ə",
"I",
"i",
"O",
"o",
"Ɔ",
"ɔ",
"U",
"u",
"ã",
"ẽ",
"ĩ",
"õ",
"ũ",
"B",
"b",
"D",
"d",
"Đ",
"ɖ",
"F",
"f",
"Ƒ",
"ƒ",
"G",
"g",
"Ɣ",
"ɣ",
"H",
"h",
"K",
"k",
"L",
"l",
"M",
"m",
"N",
"n",
"Ŋ",
"ŋ",
"P",
"p",
"R",
"r",
"S",
"s",
"T",
"t",
"V",
"v",
"Ʋ",
"ʋ",
"W",
"w",
"X",
"x",
"Y",
"y",
"Z",
"z",
"D",
"z",
"d",
"z",
"G",
"b",
"g",
"b",
"K",
"p",
"k",
"p",
"N",
"y",
"n",
"y",
"T",
"s",
"i",
"t",
"s",
"i",
"D",
"y",
"d",
"y",
"D",
"z",
"i",
"d",
"z",
"i",
"Ŋ",
"w",
"ŋ",
"w",
"ɔ",
"̃",
"ó",
"À",
"é",
"È",
"ò",
"à",
"í"
],
"bos_token": "<|endoftext|>",
"eos_token": "<|endoftext|>",
"unk_token": "<|endoftext|>"
}