maxkb的api接口并发调用

有没有官方或者哪个朋友测试maxkb的api并发调用了,我本地上测试的一次最多只有四五十个线程同时调用一个api接口可以成功,maxkb需要怎样性能的服务器,与什么的性能有关系,有使用或者测试出结果的朋友们可以分享一下 :smiling_face_with_three_hearts:

几十级别的并发跟模型的处理能力关系比较大。

但是我在高级编排里面并没有使用ai模型对检索结果进行处理 只是直接的根据qa对输出检索内容 我发现换了一个性能稍微好一点的机器之后并发量翻了一倍 接口耗时减小了一倍左右 所以我感觉在不用ai模型处理结果的时候是不是cpu对并发的影响更大一点 :smiling_face_with_three_hearts:

得根据并发测试API 的类型有关
1、如果是涉及问答、向量化等内容,那就和大模型并发能力关联较大。
2、对于MaxKB 其它API,那就和部署服务器的CPU和内存关联大。

1 个赞

咱们官方有没有不同的配置 模型信息和测试数据做参考 :smiling_face_with_three_hearts: