两行 robots.txt 就能同时拒绝四家 AI 训练：共享令牌 __usage_ai-training 开始落地

写内容的人这几年的实际处境是：想让自己的站不被拿去训练，得挨个查清每家的爬虫名，GPTBot、Google-Extended、ClaudeBot、CCBot 各写一遍，新爬虫出来再补一遍。这次是第一次出现跨厂商的同一行写法。

它是什么

一个策略令牌，写在你已有的 robots.txt 里。语法不是新东西——草案明确说不引入新指令、不改 robots.txt 的路径匹配和最长匹配优先级（RFC 9309），现有解析器碰到不认识的 User-Agent 组会直接忽略，所以加了不会影响别的爬虫。

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

意思是对所有参与这个信号的厂商：整站不许用于训练，除了 /press-kit/。你也可以只禁几个目录。

支持方和时间表

草案由 Anthropic 标准负责人 Kevin Kelley 提交（编号 draft-kelley-aipref-training-preference-signal-00，10 月 30 日版，2027 年 5 月 3 日到期），目前是个人提交稿，IETF 工作组没有给它正式标准地位。

几个容易搞错的细节

User-Agent: * 不算。 通配组不会匹配这个令牌，如果文件里没有任何一组写了这个令牌，就等于你没表达偏好。
Google 有个连带规则。 用了这个令牌但没单独提 Google-Extended，Google 会当成你连 Google-Extended 也禁了。
微软分得更细。 除了训练偏好，还单独给「AI Grounding」（把网页内容拉进回答里）一个开关，并加了页面级控制；明确说退出训练不会被踢出 Bing 搜索结果。
只关训练，不关抓取。 草案原话是这个策略令牌不是抓取行为的指令。爬虫照样可以来抓、来索引、来在回答里引用你。
不回溯。 今天加上，只是挡住未来的训练，已经进了数据集、已经训进权重的部分拿不回来。

对你有什么用

如果你自己运营内容站（博客、文档站、产品站），这是一次性成本极低的动作：两行文本，5 分钟，不影响任何现有爬虫规则，也不影响收录。以前不做是因为「配四五家太麻烦」，现在这个理由没了。

对做出海内容的人还有一层意义：这条规则是你跟客户、跟合作方解释「我的内容怎么被使用」时，唯一能拿出来指的东西——机器可读、有文档编号、有到期日。

泼冷水

全靠自愿。 没有强制力，草案自己说这是协调机制不是安全控制。不参与的小厂、不署名的爬虫，照抓不误。
2027 年之前基本是空转。 四家里只有 Anthropic 在实现，OpenAI 是「未来几个月」，Google 和微软都要到 2027 年。现在加上，两年内实际效果接近零。
它挡不住「AI 搜索引用你」。 如果你的诉求是「别让 AI 回答里出现我的内容」，这个令牌管不了，得靠微软那个 grounding 开关或者干脆在服务端做拦截。
别把它当版权声明。 它表达的是偏好，不是许可，也不是放弃权利。真要维权还是得看各家的训练数据政策和当地法律。

具体建议

今天就能加：在 robots.txt 末尾补上令牌组，路径按你真正在意的部分写（付费内容、会员区、原创图库优先）。加之前先备份原文件，改完用 curl -A "__usage_ai-training" https://你的域名/robots.txt 看一眼返回的是不是新文件。
想两头兼顾的，用 Allow: 把公开的推广页、press kit 放开——被训练不等于被抄袭，但被引用通常对你有好处。
同时保留老的逐家规则。过渡期两家机制并存，官方也明说新信号不取代旧控制。
别指望它替你解决「内容被整站搬运」。那是另一件事，得靠日志监控和法务。