我有一个接口,调用第三方提供的API实现的大模型调用,支持流式输出,但不是openai格式。用函数的形式接入maxkb的话,函数必须等待结果完全返回后return,没有流式效果。问下有没有大佬遇到过这种情况呢,将其包装为openai格式接入maxkb是否可行呢?
只要符合OpenAI格式,就可以选择OpenAI方式进行对接。
我有一个接口,调用第三方提供的API实现的大模型调用,支持流式输出,但不是openai格式。用函数的形式接入maxkb的话,函数必须等待结果完全返回后return,没有流式效果。问下有没有大佬遇到过这种情况呢,将其包装为openai格式接入maxkb是否可行呢?
只要符合OpenAI格式,就可以选择OpenAI方式进行对接。