173MB 的手机端模型开源了:断网跑 350 token/s,100 次推理掉电 0.3%
阿里淘天的 MNN 团队 11 月 4 日把 MNN-Pocket-0.3B 开源了,Apache 2.0。GitHub 仓库的 News 首条就是它。
规格:约 3 亿参数的稠密结构,32K 上下文,INT4(W4A16)量化后的 MNN 部署包 173MB——这个体积包含权重、分词器、计算图和推理配置,不是只算权重。
速度是官方实测:iPhone 18 Pro 上通过 MNN 引擎完全离线运行,平均解码约 350 token/s。iPad Pro M5 的 Metal 后端下解码 466 token/s、prefill 8721 token/s,峰值内存比加载前基线多 228MB。骁龙 8 Gen 5 的 CPU 后端解码 251 token/s。同场景下 Qwen3-0.6B 的部署包 340MB、峰值内存增量 427MB,体积和内存都差不多砍了一半。
功耗这组数字比速度更值得记:一加 13 上,输入 1024 token、输出 128 token 的负载,100 次推理累计耗电约占电池的 0.3%。
为什么是 0.3B 而不是更大
团队的说法是反过来定的:先钉死「峰值内存低于 300MB」「解码高于 200 token/s」两条线,再在 5000 万到 13 亿参数之间挑,结论是 3 亿左右是同时满足两条的最大规模。为什么不走 MoE——手机上只有一个请求在生成,每吐一个 token 都要重新读一遍权重,内存带宽才是瓶颈,路由带来的不连续访问摊不薄。
词表从 Qwen3 的约 15.1 万裁到 6.4 万,砍掉 57%。对千亿模型这不算什么,对 3 亿模型是大事:嵌入层和输出层占的参数比例太高。代价是除了中英文,其他语言的分词效率被降级。
对一人公司怎么用
如果你在做 App、桌面工具、浏览器插件,有些活根本不该发到云端:给用户评论打标签、从表单里抽字段、判断一句话是询价还是投诉、给搜索框做 query 改写。这类任务量大、必须秒回、数据还敏感。
云端方案的三笔账现在都不划算——延迟、按量计费、数据合规。这个模型给你第三条路:173MB 打进安装包,断网也能跑,用户的数据不出设备。对做隐私敏感品类(健康、财务、企业内部工具)的人,这条比省钱更有价值。
泼冷水
模型卡自己写了:跟其他十亿参数以下的模型一样,不建议用在复杂数学和长程代码生成上。别指望它替你做重构。
官方报的 11 项评测平均 50.00 分、IFEval 73.20,都是团队自报口径。而且这类小模型的强项集中在指令遵循和短推理——「按格式输出、判断意图、抽字段」它很划算,「背知识、做多步推理」不是它的赛道。拿平均分去和 0.6B、1.7B 的对手横向比,意义有限。
还有一个坑:投机解码不是开了就快。它依赖空闲算力,安卓端某些场景下反而更慢。这个开关要按你的实际任务测,不要默认打开。
具体建议
先跑 GGUF 版,别一上来就接 MNN。GGUF 在 llama.cpp 生态里现成,十分钟就能在你自己的 200 条真实样本上跑出准确率。准确率过线了,再换 INT4 的 MNN 版做端侧集成——那时候你要解决的是工程问题,不是模型选型问题。
任务是「从几个候选里挑一个」(工单分类、意图识别)的话,用 Dec 版。它把生成改成一个前向的选择题,比逐 token 解码省得多。