我现在只能通过在函数库里写post请求去接入模型,然后收到response并处理,目前可以做到非流式输出,如果要流式输出,应该怎么操作呢?只能用函数库,用不了模型。
感觉做不到啊。。求大佬帮忙指点一下
这个跟你请求的模型接口有关,如果你函数库里请求的接口支持流式返回才能流式返回,并不是接收端想要流式就能流式。
我请求的模型是支持的,在调试的时候有试过改stream参数,返回了流式response,使用函数库可以把response流式输出出来吗?我现在函数库用的还不是很熟练,我只会把这些response的content提出来一次输出出去。
函数库是通过return标识符将数据进行返回的,这个只能一次性返回完整内容,但是整个应用是使用流式输出的。
好的,非常感谢!再请教一个问题,像我这种情况有没有什么开源软件或包能把这个api封装成普通的openai格式?我想转为openai格式后通过模型部署那块去调用。