最近几个月,不少站点遇到同一件事:没有明显的人为攻击,CPU 却被拉满,页面变慢,用户开始投诉。有人写 GPTBot 把 CPU 榨干了,只能重新打开屏蔽。有人写 ClaudeBot 大量访问,堪比 DDoS。还有人说,Vercel 上的流量被爬虫打爆,最后把站点迁走了。
问题不是“要不要挡爬虫”。流量已经像攻击了,你当然想挡。真正难的是:这些请求里,既有打爆你的垃圾刮取和训练爬虫,也有 Googlebot,也有会引用你的 AI 搜索爬虫。现在还有人伪造 OpenAI、Anthropic、Perplexity 的身份来扫漏洞。一刀切,站点能喘口气;搜索结果和模型引用,也会一起被拿掉。
分类才是前提。
Googlebot、Bingbot 决定你有没有搜索结果。OAI-SearchBot、PerplexityBot、Claude-SearchBot、ChatGPT-User 这类,决定模型会不会找到你、引用你。GPTBot、ClaudeBot 是训练语料,不是检索引用,可以单独用 robots.txt 决定。真正该挡的,是伪造身份的刮取,以及打爆接口的自动化脚本。
Cloudflare 的默认思路更接近分类。它有一套 Verified bot:爬虫要诚实报身份,用 Web Bot Auth 签名、公开 IP 名单加稳定 User-Agent,或者反向 DNS;同时要遵守 robots.txt,速率也说得过去。搜索引擎爬虫、监控、用户驱动的 Agent,都在这个范畴里。文档写得很清楚:历史上,Verified bot 会从默认的 bot 防护里排除出去。Bot Fight Mode 拦住的是明确的自动化流量,不会把已验证的 Googlebot 一起挡掉。
Super Bot Fight Mode 可以按“明确自动化 / 很可能自动化 / 已验证爬虫”分别设动作。已验证爬虫建议保持 Allow。再细一层,是 AI Crawler and Agent access policies。它按行为管:Search、Agent、Training。Search 是给索引或后续问答用的采集。Agent 是真人当下让它去抓一页,比如对话里的取页、浏览器 Agent。Training 是拿内容去训练或微调。每一类可以 Allow 或 Block。Training 还可以选 Disallow,写进 robots.txt。要注意,robots.txt 是自愿遵守的。打开 Bot Preference Sync 后,Disallow 也会在 Cloudflare 边缘拦住训练爬虫;但同时用于 Search 和 Training 的混合型爬虫,这份边缘拦截不会套上。新域名这三类默认都是 Allow,改之前先想清楚自己要什么。
网上常有“一分钟拦掉所有 AI 爬虫”的做法,把 Search 放开,把 Agent 和 Training 全关掉。站点是能立刻轻松一些。但引用你的搜索爬虫、用户让模型去取的那一页,也可能一起被误伤。开关能救急,不能替代分类。
还要按具体爬虫点名放行或拦截,用 AI Crawl Control。后台里对单个 AI 爬虫选 Allow 或 Block,Block 会生成或更新一条 WAF 自定义规则。内容策略适合在这里管,路径例外可以再改那条规则。
Bot Management 把判断暴露成字段:bot score、verified_bot、verified_bot_category,还有 JA4。写 WAF 规则时,我会先排除已验证爬虫,再对低分流量、异常 JA4、明显机房 ASN 动手。JA4 和 ASN 适合挡伪造身份、打接口的脚本,不适合当内容页的唯一闸门。
Vercel BotID 是另一层。它是隐形验证,主要保护结账、注册、推理接口这类高价值路径,不是整站内容页的默认闸门。服务端调用 checkBotId(),如果只看 isBot 就返回 403,连 Googlebot 和 ChatGPT 这类助手也会被挡掉。Vercel 自己的文档也这么写。从 botid
@1.5.0 起,Deep Analysis 会返回 isVerifiedBot、verifiedBotName、verifiedBotCategory,目录在 bot,但不是你允许的已验证 bot,再拦截。目录里没有的,用 Vercel WAF 做放行,而不是把整条保护拆掉。账单被爬虫打爆时,更该先保护这些高价值接口,而不是把整站所有 bot 一关了之。
所以我会这样分层。流量已经像 DDoS 时,先挡住伪造身份和打接口的脚本,训练爬虫单独处理。内容页再决定:放行搜索、放行引用,垃圾刮取再挡。Cloudflare 用 Verified bot、按行为的策略,必要时再用 AI Crawl Control。接口和表单:Vercel BotID 这种挑战更合适,但一定要把已验证 bot 排除出去。边缘的 ASN、JA4、地区规则是补丁,不是替代分类。
这些判断我还在实践里核对。工具在变,爬虫名单也在变。有讲错的地方,欢迎直接指出。
资料:
Cloudflare Verified bots
AI Crawler and Agent access policies
AI Crawl Control
Bot Management 字段(含 JA4)
Vercel BotID
Handling Verified Bots