决策模型免费到 10 月 27 日：一次请求问三个判断，返回概率而不是一段话

如果你的流水线里有一堆”让大模型读一段话然后回答是或否”的环节，这一周是零成本试替换的窗口。

它跟聊天模型有什么不同

决策模型不生成自由文本。你给它一段输入和一组问题，它返回选项、概率和分数。三种问题类型：

choice：该派给哪个团队
boolean：这个客户是不是在要退款
score：紧急程度打几分

关键在于一次请求能问好几个问题。同一段客户消息，你可以同时问路由、问意图、问紧急度，而不用发三次请求。

再说一遍最关键的那句：阈值由你的应用决定。模型给的是概率，不是结论。你可以设成 0.9 以上自动执行、0.6 到 0.9 转人工、0.6 以下直接拒。这套”按置信度分流”的做法，比让大模型一本正经输出”我认为应该退款”要可控得多。

怎么用

模型名：baseten/mammoth-1（27B，大）与 baseten/elephant-1（9B，小）。上下文 16k。三条调用路径：AI SDK 的 experimental_decide、兼容 OpenAI 客户端的 Decisions API、以及 TypeSafe 兼容端点。

import { experimental_decide as decide } from 'ai';

const result = await decide({
  model: 'baseten/mammoth-1',
  state: 'I was charged twice. Please refund the duplicate.',
  questions: {
    refund: {
      type: 'boolean',
      instructions: 'Is the customer asking for a refund?',
    },
  },
});

console.log(result.answers.refund);

调用会出现在 AI Gateway 的日志里，并且计入预算——这点很重要，免费不等于不计账。

泼冷水

第一，免费只到 10 月 27 日，正式价格还没公布。也就是说你无法评估长期成本。这几天能做的是验证效果，不是规划预算。

第二，两个”第一”都是榜单口径：Mammoth-1 在 Jev Decision Index 排第一，Elephant-1 在 Artificial Analysis Decision Index 并列第一。两个不同的榜单，不是同一个尺子量出来的。

第三，16k 上下文做不了长文档判断。它适合处理一封工单、一条消息、一段摘要，不适合丢进去一整份合同。

第四，阈值是要自己标数据调出来的。模型给概率，但”多少算高”得拿你自己的历史案例跑一遍才知道。没有标注集就没有阈值，这一步省不掉。

第五，决策调用会消耗你的 Gateway 预算。免费期内它们也占额度，如果你设了预算上限，可能反而挤掉别的调用。

具体建议

这周内把流水线上所有”让大模型判断”的环节列出来：意图识别、工单路由、是否升级人工、内容合规初筛。这些都是候选。
挑 100 条你已经知道正确答案的历史数据，跑一遍两个模型，画出”阈值—准确率—人工介入比例”的表。你要找的是那个总成本最低的点，不是准确率最高的点。
一次请求问多个问题，把原本三次调用合并成一次。省下的不只是钱，还有延迟。
免费期结束前把成本结构记下来：每个判断花了多少、替掉了多少次大模型调用。10 月 27 日之后公布价格时，你才有东西去比。

原文：https://vercel.com/changelog/basetens-mammoth-1-and-elephant-1-now-available-on-ai-gateway-for-free