我使用了参考程序：
如果使用
则不会出现任何问题。但当我将刚才在下载好的tokenizer存入到本地，并再次读入的时候
对于样例程序却会有如下的错误产生：
这显示我产生了一个NoneType的东西。但实际上，除了将tokenizer参数从本地重新load一遍外，没有任何额外的改变，我不清楚这个问题是我自己的问题还是tokenizer在保存的过程中会有一些其他的东西没有跟随保存，不知道是否有人能够帮助我
· Sign up or log in to comment
