局域网服务器安装ollama,maxkb调用ollama后安装 deepseek r1 32b,maxkb高级编排知识库问答小助手,回答的最后会输出这段话Exception:Can’t load tokenizer for ‘gpt2’. If you were trying to load it from ‘https://huggingface.co/models ’, make sure you don’t have a local directory with the same name. Otherwise, make sure ‘gpt2’ is the correct path to a directory containing all relevant files for a GPT2TokenizerFast tokenizer.
看过那个帖子了,里面提到的CSDN的帖子也看了,但是我不知道对应到MAXKB里怎么按CSDN帖子里说的增加文件,能否指点下?
哪位大神指点下?
开个代理走全局就不会有网络问题了,或者按帖子,走镜像站
我们这边服务器不能开代理,只能走镜像站吗?是直接设置 export HF_ENDPOINT吗?设置完变量后是需要重新安装还是重启docker就可以了? 我是想先把gpt2下载下来然后上传到服务器,但是不知道应该上传到具体哪个文件下。
我尝试了使用镜像站,做了以下变化:
1 maxkb.env文件里加了HF_ENDP
2 docker-compose.yml里增加了
environment:
- HF_ENDPOINT=https://hf-mirror.com
然后重启 docker-compose -f docker-compose.yml -f docker-compose-pgsql.yml up -d
还是报这个错呢,我在服务器里curl https://hf-mirror.com 没有问题。麻烦指点下该怎么弄。
pip install --upgrade transformers 安装一下这个试试 先别改配置文件吧
两个文件都不改了?是在docker的container maxkb里执行pip吗?
解决了,最后是下载了源代码,看到应该是这段报错。我将下载下来的gpt2 tokenizer的文件夹放到服务器opt/maxkb/model/tokenizer这个目录,重启maxkb就好了。之前我放的目录不对,看了源代码才知道放错地方了。
tokenizerManage.tokenizer = GPT2TokenizerFast.from_pretrained(
‘gpt2’,
cache_dir=“/opt/maxkb/model/tokenizer”,
local_files_only=True,
resume_download=False,
force_download=False)