MaxKB 如何对接本地向量模型

dockerdesktop如何操作?

我按照咱们的方法添加之后,报


image

1 个赞

这里添加的是m3e-base模型吗?字面意思是序列化时头部信息太大了,添加其他本地模型是否会报这个错误呢?

能否告知下,添加的模型头部信息大小限制,感谢

详细内容查看:MaxKB 如何对接本地向量模型_maxkb 本地模型-CSDN博客

docker-compose.yaml文件一般在哪里,我用docker desktop创建的容器没有找到这个文件。

只有通过离线安装包方式部署会自带docker-compose文件,离线安装 - MaxKB 文档

docker部署如何对接本地向量模型呢

docker命令部署需要在docker命令中使用volume参数添加挂载,但是没那么方便,长期使用的话,还是建议使用离线安装包持久化部署。

1 个赞

服务器装PG貌似有些问题,所以一直在用docker进行测试,麻烦问下如果需要添加挂载和指定日志输出位置,需要使用什么命令

离线安装包里也是docker部署的,但是使用了docker-compose,已经帮你把持久化的配置都弄好了。

可以通过cmd docker run -v指令将本地文件夹挂载到maxkb,具体指令需要自行研究一下

1 个赞

我按照方法执行,报错。


image

“模型目录”写到local_embedding就足够了,不用写到m3e-large。

一样的报错

1 个赞

我是这样子做的,跟这个教程不一样,但是也添加模型成功了,和大家一起探讨
1、将模型移动到maxkb中
cp -r /root/Desktop/我的网盘/ML/MaxKB/m3e-base /root/.maxkb
2、进入容器
docker exec -it maxkb bash
3、查看容器中是否有模型
ls /var/lib/postgresql/data
4、将模型移动到默认的路径下面
mv /var/lib/postgresql/data/m3e-base /opt/maxkb/model/embedding/

然后去添加模型,添加模型的时候要注意“基础模型”要写完整的模型路径/opt/maxkb/model/embedding/m3e-base

同样问题,可能是内存不足或模型文件损坏,我扩容后重新搞成功了

模型放在另一个服务器里,在maxkb中调用不行吗

什么方式部署的模型

可以通过 Ollama 或 Vllm 等平台在其他服务器部署,MaxKB 通过 AI 对接调用。