OpenRouter 上线免费模型路由器:100 万上下文、按难度选模型,路由这层不收钱
先说它到底是个什么东西。typesafe/jev-router 是一个模型 slug,你把它填进 model 字段,它就替你决定这一轮该用哪个模型、推理强度开多高。OpenRouter 的 API 是 OpenAI 兼容的,多数 SDK 换个 base URL 和 slug 就能用。路由这一层输入输出都标价 0,上下文 100 万 token,9 月 25 日上线。
判断信号有四个:任务难度和精度要求、上更大的模型或多推理一步是否划算、更便宜的模型够不够用、任务是不是变了。
为什么”缓存感知”是关键
这是它跟普通路由器最大的区别,也最容易被忽略。多数路由器按每条消息挑模型,可每换一次模型,缓存里的对话就废了,新模型要把整段上下文重新读一遍,全价。Jev Router 的做法是会话内尽量守住同一个模型,靠调推理强度来适配难度,只有”换过去省下的钱 > 丢缓存多花的钱”时才真的换供应商。
对长对话、多轮 agent 任务来说,这个账是实打实的:上下文越长,乱换模型的代价越高。
数字
- 价格:模型页显示输入输出均为 0,路由决策不计费;被它选中的下游模型照常收钱
- 上下文:100 万 token
- 4 个 agent 基准:解出 237/423,Auto Router 是 130/423,相对高 82%
- 5 个 agent 基准:中位首 token 延迟比其他所有测过的路由器都快(官方没给原始延迟数字)
- 隐私:Jev 只读对话文本,跑在零数据留存(ZDR)条款下,附件从不发给它,
zdr: true的请求可用 - 每次响应带路由元数据,说明为什么这么选
对我有什么用
一人公司跑 agent,最容易亏钱的地方是把简单活交给贵模型。分类、抽取、打标签这类任务,用一个 8B 的小模型就够了,但你自己写 if-else 去分流,写不准又得返工。路由器的价值是把”这条该用哪个模型”从你手工维护的规则,变成一次 API 调用。
OpenRouter 上还挂了几个可以直接抄的 cookbook:用 Jev 给 Claude Code / Codex / Cursor / OpenCode 的权限弹窗做自动批准(可逆的命令放行,危险的照旧问人),以及”便宜模型起草 → Jev 校验 → 校验不通过才上强模型”的级联省成本方案。
泼冷水
三条,一条比一条要紧。
第一,那个 82% 是跟 OpenRouter 自家的 Auto Router 比的,不是跟”不用路由器”比。有人直接在下面要求他们公布无路由基线的结果,否则没法评估。也就是说,这个数字只证明”比上一代路由器强”,不证明”比你自己挑一个好模型强”。
第二,Jev 调用超时或返回非法输出时,请求直接失败,不会回退到别的路由器。这意味着你的链路上多了一个硬依赖:路由挂了,整个请求就挂。生产环境必须自己加超时兜底和降级路径,别指望它替你扛。
第三,一个便宜模型被误判成”够用”时,它照样返回 HTTP 200,账单上确实省了,答案质量掉下去这件事不会出现在任何成本监控里。省钱和答对是两件事,路由器只优化前者。
另外提醒一句:Jev 本体(typesafe/jev-1.13)和 Jev Router 是两回事。前者是 3.2 万 token 上下文的决策模型,按输入 token 收费、输出免费;后者才是本文说的免费路由器,1M 上下文。别看混了。
具体建议
- 把”抽取 / 分类 / 打标签”和”复杂推理”拆成两条路径,前者优先让路由器往便宜模型上走,后者固定指定你信得过的强模型,别交给路由。
- 打开响应里的路由元数据,看它选模型的理由,跟自己的判断对一对,连续一周都对不上就换回手工指定。
- 生产环境给 Jev 调用单独设超时和兜底模型——它失败时不回退,这一点必须自己补。
原文:https://openrouter.ai/models/typesafe/jev-router Jev 文档(含 Decisions API、cookbook 清单):https://openrouter.ai/docs/guides/community/jev