MaxKB 对接Ollama模型时,提示 API 域名不可用

已经解决 谢谢大神的指导


咦,怎么解决的,我试了还是不行啊

关于 添加 Ollama 模型 提示 API 域名无效的问题:

1. API 域名内容说明

MaxKB 版本为 0.9.0,API 域名格式为:http://您ollama所在服务的ip地址:您ollama的端口号/v1
MaxKB 版本为 0.9.1及之后的版本API 域名格式:http://您ollama所在服务的ip地址:您ollama的端口号/

注意:API 域名不可使用 127.0.0.1 或 localhost。

2. 获取 Ollama 服务的 IP 地址

到Ollama所在服务器上执行: ip addr ,  获取到服务器的 IP地址,
如下图查询到的Ollama服务器IP 地址为 172.26.186.35,那么API 域名为:http://172.26.186.53:11434

3. 确保 MaxKB 容器可正常访问Ollama服务

在maxkb 容器中访问 Ollama 的 API域名,确保返回 【Ollama is running 】的状态

4 . Ollama配置文件修改

修改/etc/systemd/system/ollama文件,配置监听在0.0.0.0网段
增加一行:Environment=“OLLAMA_HOST=0.0.0.0”

5. 以上确认无误后,再到 MaxKB 中 添加 Ollama 的模型

基础模型支持自定义输入:qwen:0.5b 然后回车、回车、回车即可。
表单如下:

image

我想问一下,这种方法确定是调用的本地模型哈?不是线上的吧?还有就是下载的模型路径在哪?

不用下载,直接在 MaxKB 的模型管理中对接 Ollama ,MaxKB会自动执行命令:ollama run 基础模型。

模型添加成功就能调用。

CMD运行:
docker run -d -p 3214:3214 -e OLLAMA_PROXY_URL=http://host.docker.internal:11434/v1 1panel/maxkb

Ollama API域名填写:http://host.docker.internal:11434

  1. 需要确保3214端口没有被排除了
  2. 端口排除范围查看:使用命令netsh interface ipv4 show excludedportrange protocol=tcp
  3. 如果端口包含在列表范围内,需要将3214换一个没在范围内的
  4. 3214只是一个举例,可用其他端口。

你好,按照步骤部署,添加ollama模型不行哦,还是显示api域名不可用


docker运行了maxkb,本地下载了ollama2 ,添加模型显示错误

仔细看上面要求不能用127.0.0.1


帮忙看看怎么回事

感谢反馈,请先确认 Ollama 能正常正常运行。

访问不了,需要自己单独部署Ollama 吗?



模型在本地,API添加还是失败

你要先部署 Ollama,可以通过 1panel 部署。
可以参考以下教程:

好像不能使用 localhost~

是必须通过1Panel安装MaxKB和Ollama么?这两个我都是用命令装的,各自都能运行起来

可以使用命令安装,只要确保Ollama和 MaxKB 运行成功就行,在本帖找一下 解决方案,按照解决方案的方法修正一下。

你好,按照该帖中的方法设置还是显示“API域名”无效(图1)。

  1. 已确保ollama服务正常启动(图2)
  2. ollama服务启动方式 如图3


麻烦指点下为啥不能行呢?

我的已解决,看看是不是容器无法访问这个 ip,ping 一下试试。