如题,我用vllm启了一个qwen2的大模型服务,MaxKB成功对接。 但是每次问到第5个问题必然卡死,一直显示回答中,看vllm后台发现MaxKB并没有发起第5个问题的调用!?vllm服务没有问题,可能什么原因呢,感谢!
模型能力问题,换个模型试试
我是通过vllm部署的大模型,有这个问题,换成ollama部署就都好了