Rapid-MLX来自创作者
Rapid-MLX v0.11.0：首字延迟提速 25.6 倍，内置智能体对话
Rapid-MLX 发布 0.11.0 版，这款面向 Apple Silicon 的开源本地模型推理引擎称，在 M3 Ultra 上复用 6000 token 前缀时首字延迟从 13.1 秒降至 0.51 秒，相同请求的响应缓存从 656 毫秒降至 2 毫秒。新版的 rapid-mlx chat 成为可自动串联任意 MCP 服务器工具的智能体，并支持思考预算。
本版新增腾讯混元 3 等五个模型家族，工具调用在语法层约束解码，推理模型也不会再输出格式错误的调用。项目同时列出尚存不足，包括 Qwen3.6 原生 MTP 暂缓支持，以及本周期未与 llama.cpp 和 Ollama 做同机对比。
要点
- 前缀缓存复用使首字延迟降至 0.51 秒。
- rapid-mlx chat 可串联 MCP 工具。
- 新增腾讯混元 3 等五个模型家族。
- 语法层约束确保工具调用格式正确。
- 本周期未与 llama.cpp、Ollama 同机对比。
原文：Rapid-MLX 0.11.0 — 25.6× faster to first token, meet your Mac's new agent
Prefix-cache reuse: 13.1s → 0.51s TTFT (25.6×).
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。