Perplexity 开源 27B 决策模型,配一份每百万输入 0.04 美元的 Decisions API
10 月 1 日,Perplexity 把 pplx-decider-v1-27b 放到了 Hugging Face,许可证 Apache 2.0,同一天上线了 Decisions API。
这个模型不写东西。你给它文本或图片,外加一组你自己定义的答案,它返回每个答案的概率。三种问法:是/否(返回一个 0 到 1 的概率)、多选(返回最优项和完整分布)、打分(返回概率加权的等级)。
价格是这条新闻的重点
官方文档给出的价目:每百万输入 token 0.04 美元,输出免费,不收单次请求费。
对比一下现在最便宜那档聊天模型的输入价,差了一个数量级。差别来自它不生成文本——没有输出 token,就没有输出账单。
按官方口径算一笔具体的账:一条 500 token 的客服工单,路由一次大约 0.00002 美元。一个月 1 万条,两毛钱。
模型本体
| 项目 | 数值 |
|---|---|
| 参数 | 26B(BF16) |
| 基座 | Qwen/Qwen3.8-27B 微调 |
| 许可证 | Apache 2.0 |
| 自托管显存 | 约 49 GiB 权重 + 工作内存,需 CUDA |
| 输入 | 文本、JSON、数组、图片(PNG/JPEG/WebP base64) |
| 批量 | 单次请求 1 到 128 条具名问题 |
| 限流 | 每组织每秒 10 次请求(官方定价页口径) |
Apache 2.0 意味着可以商用、可以自己改、可以不告诉任何人就部署到客户内网。
分数要看全,不能只看总分
官方模型卡给了 11 项基准、7210 条样本的对照:
| 对比项 | Jev | Qwen3.8-27B | pplx-decider-v1-27b |
|---|---|---|---|
| 综合 | 84.51% | 74.76% | 85.71% |
| RAGTruth | 77.27% | 61.53% | 88.80% |
| FinancialPhraseBank | 76.98% | 75.68% | 84.18% |
| TabFact | 89.80% | 78.60% | 90.60% |
| JevBench public hard | 73.27% | 72.28% | 70.30% |
| WinoGrande | 90.70% | 73.10% | 83.30% |
| BBH | 94.27% | 72.80% | 82.80% |
综合分 85.71% 赢了 Jev 的 84.51%,但 11 项里有 6 项是 Jev 更高。在最难的 JevBench public hard 上,它 70.30% 输给了 Jev 的 73.27%,甚至低于基座 Qwen3.8-27B 的 72.28%。
这组数字说明的不是”谁更强”,是这类模型的强弱高度依赖任务类型。总分差 1.2 个百分点没有意义,分项差 11 个百分点才有。而且全部是厂商自测,没有第三方复跑。
一人公司能拿走什么
第一,把 agent 里的高频小判断单独抽出来走这条通道。路由、分类、该不该调工具、要不要继续下一步——这些判断你现在多半在用聊天模型做,等于为一段马上要丢掉的文字付钱。差价是一个数量级。
第二,开源权重给了你一条退出路径。先在 API 上跑,量起来了或者客户不让数据出网,就把同一个模型搬到自己的 GPU 上。提示词和阈值都不用改。这种”供应商选择里自带退出方案”的安排,比单纯便宜重要。
第三,输出免费这件事改变了批处理经济学。打分、标注、全量历史数据回刷这类任务,成本瓶颈一直在输出侧。输出免费意味着可以一次性把存量数据全跑一遍而不用心疼。
泼冷水
限流是硬约束。每组织每秒 10 次请求,处理一个店铺的收件箱够用,给整个商品目录打一次分就会被卡住。大批量任务要么用 128 条的批处理摊薄请求数,要么直接自托管。
自托管的门槛不低。49 GiB 的权重加工作内存,基本要一张 80G 的卡或者多卡。对个人来说,API 那 0.04 美元反而更划算。
分数别直接信。85.71% 是公开基准上的成绩,跟你的业务分布不是一回事。真要用,先标 200 条自己的数据跑一遍,看在你自己的场景里是多少。
还有,这个赛道一周内挤进来四家——Perplexity、AWS 的 Strands Decider 2B、Cloudflare 的 Clef,加上原来的 Jev。接口命名已经不统一了,有的叫 /v1/decisions,有的叫 /v1/systemone。现在接入最好留一层适配,别把业务代码和某家的端点绑死。
具体建议
- 先找出你流程里”只需要一个答案”的调用。取最近 7 天日志,看这类调用占多少比例。超过 20% 就值得拆出来单独走这条通道。
- 用 128 条的批处理把请求数压下去,绕开 10 req/s 的限流。
- 给置信度设阈值,低于阈值回退到大模型或者人工。别让 85% 的模型直接决定要不要退款。
- 下单前自己去官方文档核一遍价目表。这类新品的价格这两周在变,CEO 已经公开说过输入价还会继续降。