一款基于 LLM 大语言模型的知识库问答系统
- 多模型:支持对接主流的大模型,包括本地私有大模型(如 Llama 2)、Azure OpenAI 和百度千帆大模型等;
- 开箱即用:支持直接上传文档、自动爬取在线文档,支持文本自动拆分、向量化,智能问答交互体验好;
- 无缝嵌入:支持零编码快速嵌入到第三方业务系统。
想问下,window下不想使用docker,要怎么部署?
安装前请确保您的系统符合安装条件:
参考官方文档:
API 域名为部署Ollama的服务地址+API 版本:如:http://IP 地址:端口/v1
API Key 若没设置可随意输入。
参考官方文档:
2 快速入门 · 1Panel-dev/MaxKB Wiki · GitHub
如果想不依赖docker启动的话,则需要将项目clone下来,安装依赖启动
是否考虑接入ChatGLM,或通过 One API 等工具对接模型?
感谢反馈,有需要的话后面会考虑对接的。
我的ollama模型和千帆模型无法添加是怎么回事
现在千帆的可以添加进去了,ollama还是不行
百度千帆按照操作填入key和secret之后,接口返回500,ollama一直提示域名格式不正确,我用的windows环境 docker,难道和环境有关系吗?
试试在API域名端口号后加/v1
例如:
https://您ollama所在服务的ip地址:您ollama的端口号/v1
可以我跑服务器自己的大模型嘛?
应该怎么操作呀
请问可以更改该向量模型吗?加载本地的,我看默认用的是text2vec-base-chinese这个,可以换其他的吗,可以的话,直接本地路径可以吗?
可以的
1 在启动容器的时候,通过-v 将宿主机模型挂载到容器内部
2 修改容器中/opt/maxkb/conf/config.yaml 配置文件 指定向量化模型为挂载目录
先安装ollama 使用ollama对接私有模型 然后再maxkb添加ollama供应商模型
我不是用docker部署到本地的,要怎么修改向量模型路径呢?
配置文件
EMBEDDING_MODEL_NAME: /opt/maxkb/model/shibing624_text2vec-base-chinese