网站开始对 AI agent 关门：Yelp 要付费授权，达美不让代订，摩根大通直接封账户

“让 agent 替你把网上的事办完”这个承诺，正在被网站一个一个拆掉。

10 月 17 日 The Verge 汇总了这批案例。Meta 的 Muse、xAI 的 Grok、OpenAI 的 Dots、Instinct 的用户都报告在主流站点上被拦。点名的有几类：Yelp 告诉 TechCrunch，只有买了它数据授权方案的 agent 才能用它的内容；达美航空不让 agent 代用户订票；摩根大通和嘉信理财确认封掉 agent 访问账户，理由是安全。更麻烦的是那些不明说的——Cars.com、Amtrak 以前能跑通，最近开始不响应了，用户只能自己发现。

亚马逊和 Perplexity 那场官司是这条线的起点。亚马逊去年封了 Perplexity 的代购功能并起诉，一审法院判了禁令，8 月上诉法院推翻，亚马逊又交了修改过的诉状。亚马逊的理由是第三方代购”应当公开行事，并尊重服务提供方是否参与的决定”；Perplexity 的反驳也直白——亚马逊不想让 agent 逛它的站，是因为没人再去看广告了。

Meta 选了另一条路：不和亚马逊打，去和沃尔玛、Gap、丝芙兰、百思买签合作。Shopify 也把自己的店铺网络开放给了 agent。所以现在的格局不是”全封”，是”分边站”。

误伤比封锁更难查

云服务商那层才是日常摩擦的来源。Cloudflare 2025 年上线了一键屏蔽 AI 爬虫，之后又开始拦那些同时用于搜索索引和 AI 训练的爬虫。这套策略现在写进了大量站点的边缘配置里，而它判断的依据是”像不像机器人”——你的 agent 和写来薅羊毛的脚本，在它眼里是同一类东西。

结果是沃尔玛明明和 Meta 有合作，用户照样报告结账失败。安全评测机构 EquiStamp 的 CEO Chris Canal 对 The Verge 说的那句值得记下来：如果企业主动让 agent 做不成事，那 agent 能做的有用之事就变少了。他还预计，票务站点那套”证明你是人”的关卡会蔓延到更多地方，连买菜站点都可能要你跳几下。

一人公司今天该做的三件事

第一，把 agent 依赖的每个域名列成一张表，四列就够：域名 / 用途 / 接入方式（官方 API、合作、浏览器自动化）/ 最近一次成功时间。浏览器自动化那一栏是最脆的，因为它是唯一会被”像不像人”误判的。

第二，按域名记成功率，而不是只记整体成功率。静默封锁在日志里长得和选择器失效一模一样，两者都会让任务失败。分开统计之后，你能一眼看出是”这个站不让进”还是”你代码写错了”。这一个改动能省掉大量排查时间。

第三，把钱和账户那一步留给人。让 agent 跑完查价、比参数、填表，最后点确认的那一下自己来。这不是保守，是因为责任边界现在真的不清楚——嘉信理财的 CEO 已经公开问过”agent 替客户行事，出事算谁的”。

泼冷水

别指望”换个更聪明的 agent”能解决。这件事的本质是利益分配，不是技术难度：广告没人点、页面没人翻，靠流量吃饭的商家不可能欢迎 agent。付费授权通道（Yelp 那种）才是未来形态，也就是说 agent 经济不会跑在一个免费的开放网上，它只会跑在”决定接受 agent 的那部分网站”上。

如果你的产品核心流程依赖某个具体网站的页面结构，现在就该去找它的官方 API 或者授权方案，并且把这件事当成采购成本的一部分去算，不是当成技术优化去拖。

具体建议

1. 今天花 20 分钟，把你 agent 真正会访问的域名列出来。超过 10 个的话，说明你的流程本来就太散了。
2. 给每个域名加一条”失败就告警”的监控，粒度到天。被封的当天你就能知道，而不是等客户投诉。
3. 在 agent 的请求头里放一个能联系到你的标识（邮箱或 URL），并且遵守 robots.txt、遇到 429 就退避。Cloudflare 已经在按”守不守规矩”给已验证的机器人打分了，这个分数将来可能就是通行证。

原文：https://www.theverge.com/ai-artificial-intelligence/1013195/ai-agents-blocked-web