MaxKB 产品介绍

一款基于 LLM 大语言模型的知识库问答系统

  • 多模型:支持对接主流的大模型,包括本地私有大模型(如 Llama 2)、Azure OpenAI 和百度千帆大模型等;
  • 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好;
  • 无缝嵌入:支持零编码快速嵌入到第三方业务系统。

了解更多

想问下,window下不想使用docker,要怎么部署?

安装前请确保您的系统符合安装条件:

  • 操作系统:Ubuntu 22.04 / CentOS 7 64 位系统
  • CPU/内存: 推荐 2C/4GB 以上;
  • 磁盘空间:100GB;
  • 浏览器要求:请使用 Chrome、FireFox、Safari、Edge等现代浏览器;
  • 可访问互联网

参考官方文档:

1 个赞

通过 1Panel 一键部署 Ollama + MaxKB,如图:


怎么生成API,如何将MaxKB和Ollama关联呢

API 域名为部署Ollama的服务地址+API 版本:如:http://IP 地址:端口/v1
API Key 若没设置可随意输入。
参考官方文档:
2 快速入门 · 1Panel-dev/MaxKB Wiki · GitHub

如果想不依赖docker启动的话,则需要将项目clone下来,安装依赖启动

是否考虑接入ChatGLM,或通过 One API 等工具对接模型?

感谢反馈,有需要的话后面会考虑对接的。

我的ollama模型和千帆模型无法添加是怎么回事

百度千帆模型需要先去千帆大模型中创建应用,接入应用的 API Key

Ollama 模型接入(需检查一下Ollama 服务端口是否允许访问):

按照操作手册还是接入不了,需要发一下报错信息。

现在千帆的可以添加进去了,ollama还是不行

百度千帆按照操作填入key和secret之后,接口返回500,ollama一直提示域名格式不正确,我用的windows环境 docker,难道和环境有关系吗?

试试在API域名端口号后加/v1

例如:

https://您ollama所在服务的ip地址:您ollama的端口号/v1

可以我跑服务器自己的大模型嘛?
应该怎么操作呀

请问可以更改该向量模型吗?加载本地的,我看默认用的是text2vec-base-chinese这个,可以换其他的吗,可以的话,直接本地路径可以吗?

可以的
1 在启动容器的时候,通过-v 将宿主机模型挂载到容器内部
2 修改容器中/opt/maxkb/conf/config.yaml 配置文件 指定向量化模型为挂载目录

先安装ollama 使用ollama对接私有模型 然后再maxkb添加ollama供应商模型

我不是用docker部署到本地的,要怎么修改向量模型路径呢?

配置文件
EMBEDDING_MODEL_NAME: /opt/maxkb/model/shibing624_text2vec-base-chinese