本地向量模型为什么要单独启动一个服务,不直接运行调用代码是有什么设计上的考虑吗?
平台的不同用户向量化时很可能都会使用同一个本地模型,本地模型做为一个单独的服务,可以更好地管理线程和队列,避免占用过多占用业务应用的资源,也能避免因模型问题直接导致业务应用崩溃。