添加ollama模型时maxkb是怎么做校验的?

如题,我写了一个服务把一个大语言模型的输入输出转换为ollama格式的,在连maxkb的ollama时后台总报415错误,想请教下maxkb的模型校验是怎么做的?

为什么不转换成OpenAI格式的接口呢?这样可以直接通过OpenAI方式对接。

也可以,只是当时觉得ollama比较合适所以转成ollama了,ollama和openai的验证方式不同吗?

都是使用OpenAI方式进行校验的,但是大家都是把接口转换为OpenAI格式,没有转换成Ollama格式的,Ollama接口没有自成体系,本身也会提供遵循OpenAI格式的接口。

1 个赞

感谢!我做了OpenAI方式的转换,在maxkb中验证报错 验证失败,请检查参数是否正确:“NoneType” object has no attribute “get”。我后台看了下是有收到验证时发的“你好”,回复也正常,一切正常服务未报错,请问maxkb的验证机制是什么?

我试了下另家平台的插件OpenAI-API-compatible可以正常导入模型并使用的,maxkb有做额外的验证吗?

更新maxkb版本后已解决