Recursive 把 40B 编码模型塞进笔记本：Flint 开源可商用，M4 Pro 上 125 token/秒，Apache 2.0
本地跑编码 agent 这件事，一直卡在一个很别扭的地方：小的够快但写代码不行，大的能写但你机器上跑不动。Flint 是第一个让我觉得这个卡点被撬动了一点的模型。
硬参数
- 总参数 398 亿，每 token 激活约 25 亿（含输出头；不含输入嵌入的主体约 22 亿）
- 49 层：2 个稠密层 + 47 个 MoE 层，每层 256 个路由专家，每 token 选 6 个，外加 1 个常开的共享专家
- 上下文配置 262,144 token，最高支持 512K，官方建议留在 256K 以内
- 许可证 Apache 2.0，权重在 Hugging Face，可商用可改
- Ollama 库里
flint:latest标 23GB、256K 上下文
速度（官方口径：128K 会话全程平均，不含 prefill）
With our optimized inference engine, Flint generates more than 125 tokens per second on an M4 Pro MacBook Pro and more than 150 tokens per second on a 64GB NVIDIA RTX Spark at short contexts—up to twice as fast as comparable models.
比同等跑分的 250 亿到 400 亿稠密模型快 5 倍以上——这才是关键。快 2 倍只是体验好，快 5 倍意味着你原本不敢在本机跑的活现在敢了。
跑分（官方自报，Ollama 页面明确标注是 publisher-reported）
| 测试 | 分数 |
|---|---|
| SWE-Bench Pro v2 | 89.7% |
| SWE-Bench Verified | 74.2% |
| Terminal-Bench 2.1 | 54.9% |
| LiveCodeBench v6 | 80.3% |
| IFEval | 95.1% |
抽样参数是 temperature 1.0、top-p 0.95、top-k 20；agentic 测试是至少 5 次 pass@1 平均，单轮上限 5 小时。
怎么跑起来
ollama run flint装完就是这么一句。想挂进编码 agent，Ollama 页面给了现成的命令：
ollama launch claude --model flint
ollama launch opencode --model flintHermes Agent 和 OpenClaw 也一样。llama.cpp、Unsloth、LM Studio、vLLM、SGLang 都在首日支持列表里。Recursive 另外放了个针对 M4 Pro 与 M5 Pro/Max 调优的推理引擎 rec。
量化有个值得记一笔的细节：官方把输出层（lm_head）量化到 4 位——这跟常规做法相反，因为输出层对精度敏感。他们的补救是加了一轮离线蒸馏，拿 16 位模型当老师，让量化模型在自己预采样的回复上练。最终 NVFP4 版本在自家跑分上与 16 位版本差 0.7 分以内，训练步数比量化感知训练的基线少了近一半。
对我有什么用
如果你是按月给编码 agent 付钱的那类人，Flint 值得占你一个晚上。它同时解决三件事：不按 token 付钱、代码不出自己的机器、断网也能干活。最后一条对在客户现场、在飞机上、在公司网络里的人来说，比省下的钱更值钱。
23GB 这个体积也是分水岭。它意味着一张消费级显卡或者一台大内存的 Mac 就能装下，不需要去租 A100。
泼冷水
- 跑分全是自家报的。 官方页面自己写了”evaluation setups and runtimes can affect scores”。多份独立报道还指出：在 Recursive 自己的六项平均里，阿里的 Qwen3.8 27B 是唯一比它高的。
- Terminal-Bench 2.1 只有 54.9%，明显是短板。 官方自己的对比图里，稠密模型 Qwen 3.8 在这项上是 73.0%。也就是说，如果你的编码 agent 主要是在终端里跑命令、看输出、再决定下一步，Flint 大概率不是最优解；它强在 SWE-Bench 那一类”读代码库、改代码、写测试”。
- 官方明说它需要比闭源大模型更多的引导。 原话是复杂任务要拆成更小的子任务、给出明确指令。别指望它像云端那个大号助手一样，丢一句模糊需求过去就能收工。
- “AI 自己造出了这个模型”暂时只能当公司口径听。 Eureka Machine 到底干了多少活、省了多少人时，没有任何第三方审计过。Recursive 既是建造者也是裁判。
- 速度是”自家引擎上、128K 会话、不含 prefill”的数字。 换 llama.cpp 或者 vLLM，跑出来是另一回事，尤其 prefill 那一大段在长上下文任务里本来就是耗时大头。
- 256K 与 512K 的说法打架。 模型卡配置是 262,144，官方博客写”最高 512K”，同时建议留在 256K 以内。按 256K 规划，别按 512K。
具体建议
- 先确认你的机器能装下 23GB 权重再动手，内存不够就别硬下。
- 用
ollama run flint起一个，拿你手上真实的一个小仓库任务试，别用 hello world。判断标准是”它能不能独立走完一轮改代码 + 跑测试”，而不是”它聊得像不像样”。 - 真要接进日常工作流，优先
ollama launch opencode --model flint这条路径，比自己拼 OpenAI 兼容接口省事。 - 把结果跟你现在付费用的那个模型在同一批任务上对比。跑分是别人的，账单是你的。
- 商用前确认一遍 Apache 2.0 的条款边界。权重许可清晰是它相对多数”开放权重”模型的实际优势，别浪费。
原文与模型卡：https://www.recursive.com/updates/introducing-recursive-flint （Ollama 页 https://ollama.com/library/flint ，权重 https://huggingface.co/RecursiveSI/flint）