oMLX 0.7.4.dev1 开发版：两台 Mac 联用，接一台 M5 Max 帮大内存 Mac 处理长提示词，64K 时最多快 2.9 倍

译自英文 · 查看原文

oMLX 0.7.4.dev1 发布了！ github.com/jundot/omlx/releases… 新加的 Prefill Accelerator 可以把一台 M5 Max 接到你的大内存 Mac 上，prefill 最多快 2.9 倍。 Prefill Accelerator（64K 提示词，M3 Ultra 512GB + M5 Max 128GB） - DeepSeek V4.1 Flash：1,060 -> 3,123 tok/s（+195%） - Qwen3.8 Flash-Next：1,309 -> 3,666 tok/s（+180%） - GLM-5.3 Flash：540 -> 1,388 tok/s（+157%） - MiniMax M3.1：297 -> 569 tok/s（+92%） - 换成 M5 Max 64GB 也能提升 30–118%，decode 速度不变。 DeepSeek V4.1 更快：A8 和 buffer pool 改进 - M5 Ultra 上 prefill 快 43–48%，32K 从 2,631 提到 3,779 tok/s（+44%）。 - oQ4e 构建在 M5 上改用 INT8 激活做 prefill。 Qwen3.8 Flash-Next 更快 - FP16 构建用上融合 kernel。M3 Ultra 上 decode 从 38.9 提到 63.0 tok/s（+62%），M2 Max 上 +23%。 - 长提示词之后的 decode 在 M5 Max 上快 3–5%。 对 agent 更友好 - Claude Code 的并行工具结果按调用顺序送进模型，Qwen 不会再把结果对错调用。 - 集群上的 agent 会话在多轮工具调用间复用提示词缓存，到第五轮缓存 token 从 743 增加到 9,266。 - 在 Codex 和 Copilot 里用 /model 切换 oMLX 模型。 0.7.4.dev1 其他更新 - Ming-3.0 TTS，decode 循环快 2 倍。 - Ask AI 可以连另一台 Mac 上的 oMLX 服务器。 - macOS 应用里可以检查模型更新。 - 网页面板和 macOS 应用加了德语。 - 8-bit 模型 6 路请求批量 decode 快 16%。 感谢所有提交 PR、报告 bug 和测试构建的人，也欢迎五位新贡献者！