问题:添加本地模型提示如下
解决方案:
第一步:执行 ollama list
第二步:修改模型设置,“基础模型”填写成Deepseek-R1-14B:latest
问题:nomic-embed-text 这个怎么运行,不需要运行吗?还是放在那个路径下面。
解决方案:
如果服务器执行ollama list,能看到nomic-embed-text向量模型的信息,直接就可以在maxkb模型设置进行对接,不需要ollama run启动向量模型。
问题:我在应用页面上打开了输出思考,调试页面依旧不展示输出思考
解决方案:
打开后点击保存,保存后,重新打开页面调试或者进入演示页面调试即可。
7b的R1,检索出6段,但模型似乎只收到了2段。是哪里可以设置上下文长度吗
因为应用里的图片地址是在你们MaxKB服务器上面,或者是你们内网的图片地址,钉钉应该访问不到。
但是我们做的有公网映射啊,别人访问我们应用提供的url,也会正常出来知识库中的图片,唯独钉钉机器人不会展示照片
好像是钉钉那边要审核,大概等了一天左右,知识库的照片可以正常输出了
原来如此
哥们,有没有第三方适合AI查询的平台啊推荐一下(通过api key可以让本地模型具有联网能力的,比如博查ai这种的(博查爬的信息感觉还是不行),想问问恁这边有没有推荐的)
问题求助:添加本地大语言模型,Ollama deepseek的API key应该怎么填,不能为空,但是我并没有设置任何API key。使用curl调用ollama的API也可以成功,也没有使用任何key。
$ ollama list
NAME ID SIZE MODIFIED
nomic-embed-text:latest 0a109f422b47 274 MB 29 seconds ago
deepseek-r1:7b 0a8c26691023 4.7 GB 18 hours ago
问题:本地部署「DeepSeek」模型硬件配置要求
答复:转载自:https://mp.weixin.qq.com/s/JuJo5icr-HXyA5tBHsPzrg
参数模型硬件要求
以下是不同参数量模型的本地部署硬件要求和适用场景分析。注:部分数据基于模型通用需求推测,具体以实际部署测试为准。
DeepSeek-R1-1.5B
DeepSeek-R1-7B
DeepSeek-R1-8B
DeepSeek-R1-14B
DeepSeek-R1-32B
DeepSeek-R1-70B
DeepSeek-R1-671B
域名不对,参考下官网文档。
百炼的R1,有时候感觉不稳定,我这边偶尔会这样,思考中也会经常卡顿。
我是用云上的API,感觉maxkb流式输出很不稳定,偶尔卡顿,但看云上部署的又很快,不确定是不是调用的网络问题