Cloudflare 把「Block」的含义改了：你以为在挡训练，其实连 Googlebot 一起挡了

一句话：9 月 23 日 Cloudflare 发了一篇新公告，加了一个叫 Disallow AI Training 的设置，同时改写了 Block 这个词的含义。这是那种不动手就能让你流量掉一半的改动。

到底改了什么

问题出在”混合用途爬虫”上——同一个爬虫既抓搜索索引、又抓训练数据，Googlebot、Bingbot、Applebot 都是。以前你想挡训练，要么连搜索一起挡，要么算了。Cloudflare 给的数字是：混合用途爬虫已占其网络内已验证爬虫流量的 36.6%，是单一类别里最大的一类。

现在的训练控制有四个选项：

Allow：全放行。
Disallow AI Training（新增）：在 robots.txt 里发布”禁止训练”偏好。被标记为 Accountable 的混合用途爬虫仍然可以抓搜索；其他所有训练爬虫被挡，包括 Amazon、Anthropic、Meta、OpenAI 那些只做训练的爬虫。
Block on pages with ads：只在检测到广告的页面上挡，混合用途爬虫也适用。
Block：全挡，包括混合用途爬虫，搜索也一起。

关键就在这：以前 Block 和 Block on pages with ads 不适用于混合用途爬虫，现在适用了。你如果之前在训练那一栏选的是 Block，那么在新的定义下，你挡掉的是 Googlebot 本身，不只是它的训练用途。

你的站点被迁到哪了

官方文档给了迁移表。已配过精细控制的域名：训练栏原来的 Block 或 Block on pages with ads，一律迁到 Disallow AI Training——这个迁移是安全的，实际效果保留了。

从没配过 Search/Training/Agent 三项、只用过老「Block AI Bots」开关的域名：老开关关着（未选择）→ 三项全 Allow；老开关「Block」→ 搜索 Allow、训练 Disallow AI Training、智能体 Allow；「Block on pages with ads」→ 搜索 Allow、训练 Disallow AI Training、智能体 Block on pages with ads。

也就是说，大多数人的设置被自动搬到了一个还算合理的位置。但这不是你不去看的理由。

顺带两个默认值

从 9 月 15 日起，新接入的域名会在 onboarding 时按”是否靠广告赚钱”给两种预设：不靠广告的，搜索/训练/智能体全 Allow；靠广告的，搜索 Allow、训练 Disallow AI Training、智能体 Block on pages with ads。

旧的「Block AI Bots」开关和「托管 robots.txt」都被弃用，后者换成 Bot Preference Sync——它直接替你写 robots.txt，把后台设置和文件对齐，塞在 # BEGIN Cloudflare Bot Preference Sync 标记之间，你原有的内容保留在下面。新客户默认开启。

对我有什么用

壹氪自己就跑在 Cloudflare Pages 上，这条不是行业新闻，是自己的事。你今天该做的只有一件：打开域名 → 安全设置，看一眼 Training 那一项现在是哪一格。如果写的是 Block，改成 Disallow AI Training，否则你在拿搜索收录换一个本来就换不到的东西。

Cloudflare 自己给的两个数字说明了大多数人的真实意愿：不到 1% 的站点屏蔽搜索爬虫，17% 的站点选择阻止训练。你想要的大概率是后者，而实现后者的正确开关从今天起叫 Disallow AI Training，不叫 Block。

泼冷水

第一，Disallow AI Training 靠 robots.txt 发布偏好，而 robots.txt 从来都是君子协定。Cloudflare 能挡住不守规矩的，挡不住不要脸的。

第二，Bing 还没准备好。官方原话：在微软上线 robots.txt 级别的 no-training 支持之前（目标是 2027 年初），选 Disallow AI Training 不会自动把偏好传达给 Bing。想今天就退出 Bing 训练的，还得另外用 NOARCHIVE 元标记，或者用 Bing 后台的 Block URLs / 内容移除工具。

第三，智能体这一栏没有 Disallow 选项。因为行业还没就”怎么表达拒绝 agent”形成成熟指令，得等 ai-prefs 这类标准落地。你现在只能 Allow / Block on pages with ads / Block 三选一。

第四，Disallow AI Training 不能只针对广告页面设置。Cloudflare 认得出哪些页面有广告，但这个清单太大、变化太快，没法枚举进 robots.txt。

第五，这不是”要不要被 AI 训练”的终局。官方已经预告下一步是 AI 摘要的控制，而且现在只能整站是或否，明年才可能做到控制”用多少”。

具体建议

今天：域名 → 安全设置，把 Training 从 Block 改成 Disallow AI Training，保住 Googlebot 与 Applebot 的搜索抓取。
检查 Agent 那一栏。它是三个里面唯一没有中间选项的，如果你靠搜索获客，别顺手设成 Block。
开了 Bot Preference Sync 的，去 你的域名/robots.txt 看一眼 Cloudflare 往里写了什么，确认没有把你的自定义规则盖掉。
依赖搜索流量的，把 Search Console 的收录曲线存个快照，改完设置后两周对比一次。

官方公告（中文，含完整迁移对照表）：https://blog.cloudflare.com/zh-cn/accountable-mixed-use-ai-crawlers/ Bot Preference Sync（会改写你的 robots.txt）：https://blog.cloudflare.com/zh-cn/bot-preference-sync/