并发情况下,知识库检索耗时波动较大


如图,测试并发(200)的时候发现知识库检索耗时有好几秒,有些到了9秒左右。大家有遇到这个问题吗?

并发数量上去了,数据库检索性能会收到一定影响,耗时肯定会增加。

我发现 把问题进行 embdding 时也会有并发问题,这里也占了不少时间,看能不能支持一下缓存之类的