NVIDIA 开源了「转写+说话人分离+翻译」三合一模型:30B 参数,单卡跑,API 价格约 0.12 美元一小时音频
转写这件事以前要拼三件套:ASR 模型管文字、diarization 模型管谁在说话、再接一个翻译模型。NVIDIA 10 月 28 日发布的 Nemotron 3.5 Transcribe 把这些塞进了一个开源模型,用提示词切换输出。
数字
- 30B 总参数、约 4B 激活(MoE + Mamba-Transformer 混合架构),单张 NVIDIA 卡就能跑,从 Jetson AGX Thor、DGX Spark 到 Blackwell 服务器都支持
- 40 种语言转写、31 种语言与英语互译、13 种语言说话人标注;单次处理最长 1 小时录音、最多 8 个说话人,可输出词级时间戳
- 英文 Open ASR 榜开源权重第一(官方研究页口径 4.71% 平均词错率),多语言榜 4.62%,长音频 10.98%
- 上下文转写:给一份领域词表(产品名、人名、术语),命名实体错误降到原来的 1/6
- 推理速度:RTX PRO 6000 单卡用 NVFP4 加速,每秒能转 2238 秒音频——100 小时的录音 3 分钟内出稿
- API 替代价:DeepInfra 托管 0.000033 美元/秒,折合约 0.12 美元/小时音频
- 许可证 OpenMDW 1.1,权重在 Hugging Face(BF16 / FP8 / NVFP4 / GGUF 四种),配套微调工具包
对你有什么用
三个字:按量付费的转写账单可以重算一遍了。视频字幕、播客转稿、客户会议纪要、播客出图文——这些活儿以前要么付 API 按分钟计费,要么忍受 whisper 的说话人混乱。现在 0.12 美元一小时的价格,10 小时的素材不到 1.2 美元;量大或音频敏感(客户访谈、内部会议不出本机)就自托管,权重免费。
提示词控风格是真正省事的点:同一段录音,要逐字稿就写 verbatim,要会议纪要就让它只输出决策项,要字幕就让它写成短句+时间戳——不用再写后处理脚本。
泼冷水
- 只吃录音,不吃实时流。 直播字幕、实时同传场景用不了它,官方明说为录制音频设计。
- 基准集中在英文和主流欧洲语言。 小语种、重口音素材先拿自己的音频测,别信榜。
- 名字和说话人切换仍要抽查。 任何 ASR 模型在人名、术语上都会错,NVIDIA 自己也建议对着录音 spot-check;医疗案例里微调前 WER 高达 22%–30%,通用场景没问题,垂直领域要喂微调。
- 本地跑要显存。 4B 激活不等于 4GB 显存,30B 权重加载还是要看 GGUF 量化版的实际占用。
具体建议
- 量小(每月几小时):直接 DeepInfra 或 OpenRouter 调
nvidia/nemotron-3.5-transcribe,先把账单从按分钟换成 0.12 美元/小时。 - 量大或涉隐私:下载 GGUF 版本地跑,成本只剩电费;先拿 5 段真实素材测词错率再切。
- 有垂直词表的(法律、医疗、产品名):把词表写进提示词,这一步的收益比换模型大——错误率能降 6 倍。
原文:https://research.nvidia.com/labs/nemotron/NVIDIA-Nemotron-3.5-Transcribe
原文出处 · 事实以此为准
NVIDIA Research · Nemotron 3.5 Transcribe 技术页