百度开源 280B 基座:每 token 只激活 14B,但这份权重不能直接对话
11 月 5 日,百度把 ERNIE 5.5 Flash Base 的权重放上了 Hugging Face,FP8 和 BF16 两个版本。发布页写得很清楚:这是一个稀疏 MoE 语言模型,总参数 280B,每个 token 只激活 14B,在 33.5T token 上从零预训练,训练上下文最长 128K,微调和推理阶段可以扩到 1M。
官方给的对照是 DeepSeek-V4-Flash-Base(284B-A13B)、Hy3-preview-Base(295B-A21B)、MiMo-V2.5-Base(310B-A15B)——四家都在同一档:将近 300B 的总参数、十几个 B 的激活。
这份权重到底是什么
标题里的 Base 是关键词。它是预训练终点的 checkpoint,没有做中训练,也没有做后训练。也就是说它接不了「你好,帮我写个文案」这种指令,喂进去一句话,它只会接着往下续写。
百度自己写得很直白:这份权重「可作为领域适配、指令微调和强化学习研究的共同起点」。想要一个能对话的模型,得自己在上面跑 SFT 或 RL。
如果只看到「280B 开源」就开始下载,第一个小时就会卡住——模型要求每条输入以 BOS token 开头,分词时要保持 add_special_tokens=True,这一点在模型卡里专门写了。
对一人公司有什么用
先说结论:别自己部署。
280B 参数走 FP8 大约是 280GB 显存,四张 80GB 卡才刚够放下权重,还没算 KV cache 和批处理。BF16 直接翻倍到 560GB。这不是一个人能负担的机器,也不是租几小时能跑顺的东西——MoE 的专家并行、通信、显存均衡,每一个都是工程活。
那这条新闻对你还有什么用?有三个。
第一,它说明 14B 激活这一档的模型能力在被反复拉高。你调 API 时用的「便宜档」,底座正在变强,同样的钱能买到更好的输出。
第二,它给了做垂直应用的人一个备选:如果你手上有几万条自己的领域数据,理论上可以在这种 Base 上做领域继续预训练,再拿去做小模型蒸馏。头部做行业模型的团队会走这条路,个人开发者更适合等别人蒸馏好的小模型。
第三,也是最实际的:国产开源基座越卷,API 单价越撑不住。今天看到这条,正确的动作是别去签年付的 API 长约——价格还在往下走。
泼冷水
许可不是 Apache 2.0。它用的是百度自己的 ERNIE 5.5 Flash Base Model License Agreement v1.0,商用前要去读条款,别默认「开源」等于「随便用」。
这是一份研究基线,不是一个产品。发布页最后一句说,经过后训练的 ERNIE 5.5 Flash 会随后推出。想直接拿来干活的人,等的应该是那一版。
部署路径官方给的是 vLLM 和 SGLang 的 cookbook,也给了 Megatron-Bridge 的微调示例。这些都是给有集群的人看的文档,不是在笔记本上能跑通的教程。
具体建议
如果你的目的是「找一个便宜又能打的中文模型调 API」,这条可以跳过,等后训练版本和它的定价。
如果你的目的是「给自己的行业数据训一个专用模型」,把这份权重当成一个可选项记下来:先算数据量,再看能不能租到 8 卡,最后算一遍每百万 token 的自托管成本和服务商的报价差多少。差距不到 30%,就别折腾基础设施。
原文:https://ernie.baidu.com/zh/release/ernie-5-5-flash-base/ 权重:https://huggingface.co/baidu/ERNIE-5.5-Flash-Base