问题背景:
本地开发了个模型服务,由于它的接口传stream=true会报错,所以需要指定stream=false,于是用下面这种方式可以调用成功。
curl --location --request POST 'https://xxx:8000/v1/chat/completions' --header 'Authorization: Bearer sk-xxx' --header 'Content-Type: application/json' --data-raw '{
"model": "ModelA",
"messages": [
{
"role": "user",
"content": "你好"
}
],
"stream": 'false'
}'
问题:
在maxkb中,给模型参数配置了 stream: “false”,似乎没效果,还是会出现错误(错误与传参stream=true时发生的问题一样)。
想问问,maxkb的模型,是不是默认参数中stream=true这个参数值是固定的,没法修改吗?