是否防止ai爬虫的配置

今天发现大量来自一个ip20.171.207.130 的请求
ua为 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; GPTBot/1.2; +https://openai.com/gptbot)
把ip添加到黑名单后还是在持续的请求

加到黑名单之后只是拦截访问 减少服务器资源支出
如果要避免请求到服务器 可以在安全组上增加这个 IP 的禁止访问

简单理解是加入黑名单是1panel的应用级限制,黑名单ip请求不正常返回,但是请求还是要到1panel层过滤,还有1panel返回拒绝错误并记录日志。
加入主机安全组的黑名单是系统级别的限制,服务器主机直接拒接黑名单ip的任何请求,类似Google国内未响应。