能否像CodeQwen1.5-7B-Chat一样,提供tokenizer.json文件?
#10
by
NTUYG
- opened
我想在该模型上尝试一些剪枝的实验,能否提供tokenizer.json文件,方便做vocabulary的剪枝?
我想在该模型上尝试一些剪枝的实验,能否提供tokenizer.json文件,方便做vocabulary的剪枝?
您好!tokenizer.json文件在https://huggingface.co/THUDM/codegeex4-all-9b/blob/main/tokenizer.json,欢迎实验!