能否像CodeQwen1.5-7B-Chat一样,提供tokenizer.json文件?

#10
by NTUYG - opened

我想在该模型上尝试一些剪枝的实验,能否提供tokenizer.json文件,方便做vocabulary的剪枝?

Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University org

我想在该模型上尝试一些剪枝的实验,能否提供tokenizer.json文件,方便做vocabulary的剪枝?

您好!tokenizer.json文件在https://huggingface.co/THUDM/codegeex4-all-9b/blob/main/tokenizer.json,欢迎实验!

Sign up or log in to comment