maxkb调用本地deepseek在回答的最后报错Exception:Can’t load tokenizer for ‘gpt2’,

局域网服务器安装ollama,maxkb调用ollama后安装 deepseek r1 32b,maxkb高级编排知识库问答小助手,回答的最后会输出这段话Exception:Can’t load tokenizer for ‘gpt2’. If you were trying to load it from ‘https://huggingface.co/models ’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘gpt2’ is the correct path to a directory containing all relevant files for a GPT2TokenizerFast tokenizer.

接入ollama提示Exception:Can’t load tokenizer for ‘gpt2’. - MaxKB - 社区论坛 - FIT2CLOUD 飞致云 参考这个帖子

看过那个帖子了,里面提到的CSDN的帖子也看了,但是我不知道对应到MAXKB里怎么按CSDN帖子里说的增加文件,能否指点下?

哪位大神指点下? :+1:

开个代理走全局就不会有网络问题了,或者按帖子,走镜像站

我们这边服务器不能开代理,只能走镜像站吗?是直接设置 export HF_ENDPOINT吗?设置完变量后是需要重新安装还是重启docker就可以了? 我是想先把gpt2下载下来然后上传到服务器,但是不知道应该上传到具体哪个文件下。

我尝试了使用镜像站,做了以下变化:
1 maxkb.env文件里加了HF_ENDP
2 docker-compose.yml里增加了
environment:
- HF_ENDPOINT=https://hf-mirror.com
然后重启 docker-compose -f docker-compose.yml -f docker-compose-pgsql.yml up -d
还是报这个错呢,我在服务器里curl https://hf-mirror.com 没有问题。麻烦指点下该怎么弄。

pip install --upgrade transformers 安装一下这个试试 先别改配置文件吧

两个文件都不改了?是在docker的container maxkb里执行pip吗?

解决了,最后是下载了源代码,看到应该是这段报错。我将下载下来的gpt2 tokenizer的文件夹放到服务器opt/maxkb/model/tokenizer这个目录,重启maxkb就好了。之前我放的目录不对,看了源代码才知道放错地方了。
tokenizerManage.tokenizer = GPT2TokenizerFast.from_pretrained(
‘gpt2’,
cache_dir=“/opt/maxkb/model/tokenizer”,
local_files_only=True,
resume_download=False,
force_download=False)