自己部署开源模型,把 AI 编程账单砍到十分之一:每百万 token 0.3 美元

2026-11-08 成本开源模型商业模式工程实践

英国金融科技公司 Revolut 说,把 AI 编程的主力从商业服务换成自托管模型之后,推理成本降了约 90%。这话是运维与基础设施负责人 David Abitbol 上个月在纽约 AI Engineer 大会上说的,11 月 5 日被 Computing 详细报道。

过程值得看:2025 年初先试 Gemini 查文档,2026 年初上 Claude Code。问题出在账单上——有些工程师一个月烧 1000 到 1 万美元。公司先上了严格的 token 预算,结果工程师把额度攒着只做最难的活,调 bug、处理 Jira 工单、整理 Confluence 文档这些「AI 其实也能做」的事,反而不敢交给模型。

于是转向自托管。先 GLM-5.1,后换 GLM-5.3(智谱)。自托管 GLM-5.1 的混合成本约每百万 token 0.30 美元,大约是 Claude Code 或 Codex 的十分之一。

2000 名工程师的范围里,编码时间缩短 60%,从接需求到代码合并的交付周期缩短约 70%。Abitbol 说交付周期降得比编码时间多,是因为省下来的不是打字时间——是那些零碎活的排队时间。

增益不来自加卡

GLM-5.1 约 7540 亿总参数、每个 token 激活约 400 亿。为了跑 GLM-5.3,Revolut 部署了 56 张英伟达 B200。

但 Abitbol 说加硬件不是主要因素。真正的动作是四件:调模型超参、上 NVFP4 量化、把处理提示词和生成回复拆成两段、按实际需要收上下文长度。结果是首 token 延迟压到 3 秒以内、生成速度约 200 token/s。

他说得最直的一句是关于长上下文的:「长上下文就是个骗局。就算你能服务 100 万 token,实际需要的其实是 25.6 万。」理由是 KV cache 要占显存,每个请求都按 100 万预留、实际只用几万,等于白买一半机器。

GLM 是纯文本模型,看界面截图这类活干不了。所以他们加了一层模型路由:代码走自托管 GLM,视觉查询转给 Gemini 或 GPT。商业模型没被踢出去,只是退到了特例位置。

对一人公司怎么用

56 张 B200 的事跟你没关系,抄不了,也不该抄。能抄的是三件事:

第一,按任务分模型,不是按公司分模型。分类、抽取、是非题走便宜模型,只有最难的那 10% 用前沿模型。Revolut 是在 2000 人的规模上验证这条的,你在一个人身上照样成立。

第二,别把上下文开满。你的 agent 配置里如果写着 100 万窗口,去查一下实际输入长度。绝大多数任务几万 token 就到顶,剩下的预留是纯浪费——要么多花钱,要么多占显存。

第三,便宜的 token 会改变你的用法。Revolut 最反直觉的发现是:额度一紧,工程师就不敢把 AI 用在杂活上;额度一松,省下来的时间主要来自杂活。这个顺序值得记住——先降单价,再谈提效。

泼冷水

0.30 美元是自建摊薄后的混合成本,报道没交代这个数里含不含 56 张 B200 的折旧、机房、电费和养这套推理栈的人。真实总成本一定比它高,高多少不知道。要照抄这笔账,你得自己把硬件和运维加回去。

还有一层:Abitbol 自己承认用中国模型会引出隐私和安全的疑问,他的判断是风险主要在「通过中国境内的 API 访问」,下载权重跑在自己的基础设施上或者区域云上,风险大幅下降。这个判断成立的前提是你真的自己托管,不是换了个 API 端点。

一人公司的规模下,自建大概率是亏的。一张 B200 的月租换算成 token,够你用商业 API 跑很久。这笔账的临界点在哪,取决于你的月 token 量和能不能把卡跑满。

具体建议

先算一个数:你上个月的 token 账单是多少。低于每月几百美元的,别考虑自建,去把模型按任务分层、把上下文收窄,省下来的比例可能比换硬件还大。

月账单到四位数且用量稳定的,做一次对照:同样的任务集,一半走自托管(租 GPU 按小时算),一半走商业 API,跑满一个月看总账。别用单价比,用总账比。

原文:https://www.computing.co.uk/news/2026/ai/revolut-turns-to-self-hosted-ai-to-cut-coding-costs-tenfold-over-claude

原文出处 · 事实以此为准
Computing 报道 · Revolut 自托管 AI 编程成本下降十倍
阅读原文 ↗