VLLM模型添加正常,但是对话报错


VLLM模型添加正常


对话报错,请问大佬我改怎么解决这个问题

达到提问次数上限了吧。

应该是达到限制了,换个模型试试。

您好 我在vscode中continue插件使用这个模型是没有问题的,自己的服务器也没有设置访问限制

解决了吗,我也遇到这个问题,外部访问api很正常

怎么解决的,怎么看出来是次数上限了,私有部署的模型应该没设置限制