网关侧的预设应答(命中规则直接返回,不走大模型)

我们通过 1Panel AI 网关(Anthropic Messages 协议)转发对话请求。现在希望在网关层增加一层"预设应答"能力。

核心逻辑
对每一个进来的对话请求,先取用户最新一条输入做匹配:

  • 命中预设规则 → 直接返回我们配置好的固定内容,不转发给上游大模型(省 token、可控、稳定)。
  • 未命中 → 按现有逻辑正常转发给上游模型,返回模型结果。

匹配方式(请确认支持哪种,或都支持)

  • 精确匹配(输入完全等于某句话)
  • 关键词包含(输入里含某个词就命中)
  • 正则匹配
  • 语义相似匹配(相近意思也能命中,需向量/语义缓存)

规则示例(真实要配的内容)

用户输入(触发) 返回内容
报销流程 报销请登录 OA … 3 个工作日到账
你好 你好,我是内部助手
(补你的) (补你的)

其他要明确的点

  1. 规则维护方式:是后台界面可视化增删改,还是配置文件?谁能改?
  2. 流式返回:预设回答是否也要按流式(SSE)逐字返回?(客户端如果开了 stream,必须支持,否则会卡)
  3. 优先级/多命中:一条输入命中多个规则时按什么顺序?
  4. 大小写、空格、标点是否敏感?
  5. 返回格式:必须是 Anthropic Messages 标准响应结构,客户端才能正常解析。
  6. 命中日志:是否需要记录哪些请求命中了预设,方便后续调优。

好的 我们看一下