求助各位大佬,怎么解决这个问题?
我用GPT-4的API,也经常需要30s以上,不知道到底是谁的问题,有没有办法排查是MaxKB的耗时还是GPT-4耗时?
好像是模型的问题,配置跟不上就会这样,我去试了一下用小一点的模型响应速度就上来了
跟模型有关,换个响应快点的模型就好了
我用qwen:0.5b,然后简化提示词,大概在15秒能有回复
求助各位大佬,怎么解决这个问题?
我用GPT-4的API,也经常需要30s以上,不知道到底是谁的问题,有没有办法排查是MaxKB的耗时还是GPT-4耗时?
好像是模型的问题,配置跟不上就会这样,我去试了一下用小一点的模型响应速度就上来了
跟模型有关,换个响应快点的模型就好了
我用qwen:0.5b,然后简化提示词,大概在15秒能有回复