Ollama来自创作者
Ollama 0.31 用多 token 预测为 Gemma 4 提速，Apple 芯片上快近 90%
Ollama 0.31 为 Gemma 4 启用多 token 预测（MTP）：由一个小型草稿模型提前提出后续几个 token，再由主模型一次性验证，该功能默认开启且不改变模型输出。
在 Aider 多语言基准的编程智能体测试中，Gemma 4 在 Apple 芯片上的生成速度平均提升近 90%。Ollama 还向 MLX 贡献了针对小批量验证的内核，在 M5 Max 上用 nvfp4 时让 Gemma 4 最大的矩阵乘法提速 2 到 2.5 倍。
要点
- 运行时自动调整草稿长度，无需任何配置。
- 提议不再被接受时，自动回到逐个 token 解码。
- 被拒 token 通过回滚点撤销，不重算之前内容。
- 验证批次通常为 2 到 8 个 token。
- 已下载 Gemma 4 的用户需重新拉取才能用上 MTP。
原文：Faster Gemma 4 on MLX with multi-token prediction
Code is especially predictable. It is full of closing brackets, repeated identifiers, and boilerplate, so the draft model’s proposals are accepted often.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。