让 AI 爬虫读你的站少花 80% token:Markdown 协商怎么开、怎么验
AI 爬虫来读你的站,拿到的是整页 HTML:导航、脚本、class 名、内联样式,全算 token。
Cloudflare 2 月发 beta 时拿自己的公告页量过:同一篇文章,HTML 是 16,180 个 token,转成 Markdown 是 3,150 个,少了约 80%。这个差价由读你站的那一方付——如果你希望 agent 引用你的内容、或者你自己在做 agent 去读别人的站,这笔钱和这段上下文都值得省。
先花 10 秒确认你的站有没有
curl -s -D - -o /dev/null -H "Accept: text/markdown" https://你的域名/任意页面/
看两行:
content-type: text/markdown; charset=utf-8
vary: accept
拿到的还是 text/html,说明没开。这一步别跳过——很多人以为开了,其实只在一个子域上开了。
打开它,三种方式
A. 整个域名(最简单):Cloudflare 控制台 → 你的 Zone → Agent Readiness → Markdown for Agents → 打开 Serve Markdown to AI agents。
B. 走 API:
curl -X PATCH "https://api.cloudflare.com/client/v4/zones/${ZONE_ID}/settings/content_converter" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer ${CF_API_TOKEN}" \
-d '{"value":"on"}'
C. 只对某个子域或某段路径开(用 Configuration Rule,不是缓存规则):
curl -X PUT "https://api.cloudflare.com/client/v4/zones/${ZONE_ID}/rulesets/phases/http_config_settings/entrypoint" \
-H "Content-Type: application/json" \
-H "Authorization: Bearer ${CF_API_TOKEN}" \
-d '{
"rules": [{
"expression": "starts_with(http.request.uri.path, \"/docs/\")",
"action": "set_config",
"action_parameters": { "content_converter": true },
"description": "Markdown for docs"
}]
}'
开了之后源站一行代码都不用改:Cloudflare 从源站取 HTML,在边缘转换,返回 Markdown。响应头会带 vary: accept,所以缓存能区分 HTML 和 Markdown 两个变体,不会串。
先确认你付得起这个开关:官方文档写明这个功能只对 Pro、Business、Enterprise 和 SSL for SaaS 开放,功能本身不额外收费。Free 套餐没有——一人公司的站点大多卡在这一条,往下看替代方案。
三条不能忽略的副作用
- 6 MiB 上限,按解压后算。 超过就截断,页脚和 JSON-LD 会丢。
- 转换时会摘掉
ETag、Last-Modified、Content-Length。 依赖这些头做条件请求或校验的前端逻辑会失灵。 - 你没设
Content-Signal的话,Cloudflare 自动给你加ai-train=yes, search=yes, ai-input=yes。 不想让内容进训练集,现在就显式写这个头,别等它替你表态。
Free 套餐的做法:构建时自己产 .md
静态站本来就有全部内容,生成 Markdown 是构建阶段的事。Astro 里加一个 endpoint 就行:
// src/pages/news/[slug].md.ts
import { getCollection } from 'astro:content';
export async function getStaticPaths() {
const posts = await getCollection('news');
return posts.map((p) => ({ params: { slug: p.id }, props: { p } }));
}
export async function GET({ props }) {
const { p } = props;
const body = `# ${p.data.title}\n\n${p.data.summary}\n\n${p.body ?? ''}`;
return new Response(body, {
headers: { 'content-type': 'text/markdown; charset=utf-8' },
});
}
要点只有两个:content-type 必须是 text/markdown; charset=utf-8;输出目录里要真的存在 .md 文件(构建完 ls dist/news/*.md 数一遍)。
然后在 /llms.txt 里给 agent 指路,一行一个链接,别让它们去猜:
## 情报
- [标题](https://1k.com.cn/news/2026-11-12-xxx.md)
如果还想让 Accept: text/markdown 自动命中,前面挂一个 Worker:
export default {
async fetch(request, env) {
const accept = request.headers.get('Accept') || '';
const url = new URL(request.url);
if (accept.includes('text/markdown') && !url.pathname.endsWith('.md')) {
const md = await env.ASSETS.fetch(new URL(url.pathname.replace(/\/$/, '') + '.md', url));
if (md.ok) return new Response(md.body, {
headers: { 'content-type': 'text/markdown; charset=utf-8', vary: 'accept' },
});
}
return env.ASSETS.fetch(request);
},
};
没有 .md 的路径(首页、列表页)会自然掉回 HTML,这正是你要的行为——不要给它硬编一个 Markdown 空壳。
泼冷水
这事不会让你的流量涨。 它省的是读你内容那一方的 token,好处是「更可能被引用」,不是「更多人来」。指望开了它 SEO 就变好,会失望。
Markdown 会丢掉一部分语义。 表格、脚注、嵌入的图表说明在转换里最容易被压扁。如果你的页面靠表格承载关键信息(价格表、参数对比),转完自己读一遍,别只看它 200 了。
别为了这个功能升 Pro。 一人公司为 20 美元/月买一个「可能被引用」的开关,性价比存疑——除非你本来就需要 Pro 的其他能力(更快的缓存、图片优化)。用构建时生成的方案,效果一样,成本是 0。
爬虫不一定带这个头。 主流编码 agent(Claude Code、OpenCode 那类)会带,但很多通用爬虫不会。所以 .md 文件要么放在可预测的路径上,要么在 llms.txt 里写清楚——两条都做,才算真的可达。
验收标准
curl -s -D - -o /dev/null -H "Accept: text/markdown" <你的页面>返回content-type: text/markdown; charset=utf-8,不是text/html。- 同一个 URL 不带这个头再请求一次,返回的仍是 HTML,且状态码 200——两种表示都活着。
- 响应里有
vary: accept(自己实现的 Worker 方案要手动加),否则 CDN 会把 Markdown 缓给浏览器。 - Markdown 版本的字符数比 HTML 少 50% 以上。低于这个数说明转换把正文也丢了,去看是不是被 6 MiB 截断。
- 打开 Markdown 版本,文章标题、正文首段、文末链接三样都在。三样缺一样,别上线。
原文:https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/