dalao.ai

Rapid-MLX

面向 Apple Silicon、基于 MLX 的开源大模型推理服务器，提供 OpenAI 与 Anthropic 兼容接口，侧重编码智能体的可靠工具调用，Apache-2.0 许可开源

关于 Rapid-MLX

Rapid-MLX 是面向 Apple Silicon 的开源大模型推理服务器，基于 MLX 构建，提供 OpenAI 与 Anthropic 兼容接口，侧重为编码智能体提供可靠的工具调用。它以 CLI 或 macOS 桌面应用运行，模型在本机推理，引擎与桌面应用均免费。许可证为 Apache License 2.0，LICENSE 文件顶部另有项目抬头。

编辑部更新于 阅读约 7 分钟

它解决什么问题

GitHub 描述称 Rapid-MLX 是开源的 OpenAI 与 Anthropic 兼容 LLM 推理服务器，面向 Apple Silicon，基于 MLX 构建，侧重为编码智能体提供可靠的工具调用。

问题与做法。官网首页写一台 Mac 可同时响应 Cursor、Claude Code、各类智能体和自建应用，它们共享这台机器而不是排队等待；官网称 Rapid-MLX 首先是服务器，用 continuous batching 在同一轮中处理同时到达的调用。

发展历程。NOTICE 写 Rapid-MLX 起源于 Wayner Barrios 创建的 vLLM-MLX，仓库的首个提交即该项目，日期为 2025-12-06；项目于 2026-03-13 更名为 Rapid-MLX，此后代码经大量修改、扩展和重写，Python 包改用 rapid_mlx 导入名，并保留 vllm_mlx 作为已弃用的兼容层。NOTICE 同时写明 Rapid-MLX 与 vLLM 项目没有关联，也不是其发行版。GitHub 仓库创建于 2026-02-25 08:41 (UTC+8)。近期版本：v0.16.7 发布于 2026-10-22 07:53 (UTC+8)，v0.16.8 发布于 2026-10-23 04:42 (UTC+8)，v0.16.9 发布于 2026-10-25 21:36 (UTC+8)；每个版本都有同号的 rapid-mac 桌面应用发布。

团队：前身 vLLM-MLX 由 Wayner Barrios 创建；服务条款联系主体：MachineFi Lab。

Up to 4× faster than Apple's MLX (mlx-lm), 1.5× on a typical task — same model, same weights.

Rapid-MLX README 标语

核心能力

兼容接口。README 写本地接口覆盖 OpenAI 的 /v1/chat/completions、/v1/responses 与 Anthropic Messages 的 /v1/messages，默认地址为 localhost:8000/v1；兼容 OpenAI 或 Anthropic 端点的客户端通常无需适配器即可接入。

工具调用。README 写内置 27 个 tool-call parser 模块，含自动检测回退；官网写量化模型输出退化时可自动恢复（官方自述）。

推理模型。官网写为 Qwen3.x、GLM-5.x、gpt-oss、Gemma 4 和 DeepSeek 分离思维链，思考内容不进入答案流。

缓存与并发。README 写支持 continuous batching；前缀缓存为内存中的 radix 结构，混合架构模型带状态快照，关机时存盘、启动时恢复；另支持 KV cache 量化。

多模态。官网写视觉、图像与视频运行时随基础安装提供；音频有 44 个别名，涵盖 TTS、语音识别和零样本声音克隆；视频生成支持 Wan 2.2、CogVideoX-Fun 与 LTX-2.3/2.5，经异步 /v1/videos 接口提供。README 写图像与视频生成需 Python 3.11+。官网首页数据栏写 264 个 MLX 原生模型，同页 FAQ 写支持 15 个系列的 268 个模型，两处都覆盖文字、视觉、音频与视频（均为官方自述）。

导入 Hugging Face 模型。官网写下载前先按权重格式、架构、对话模板和本机内存判断能否运行，原文为 A model it can prove won't run is refused, with the reason.；未量化的检查点可用一条显式命令转换。

Desktop 应用。官网写 Desktop 提供本地聊天和本地听写，听写使用 Whisper、Qwen3-ASR、SenseVoice 或 Parakeet，应用经 Apple 签名和公证。

社区基准。社区基准说明写 rapid-mlx benchmark run 的结果先存在本机，只有执行 share 并确认后才上传到官网排行榜。

谁在用

截至 2026-10-26，GitHub API 显示 4,029 个星标、438 个 Fork。

截至 2026-10-26，PyPI Stats 显示 rapid-mlx 近 30 天下载 5,511 次；下载次数包含重复与自动化下载，不代表安装量或用户数。

接入情况。README 写每次发版前，Claude Code、Codex CLI、Hermes、Aider 与 DeepSeek Harness 五个 Tier-1 智能体都要用真实权重跑通端到端测试，任一失败则不能发布；另有 OpenCode、Qwen Code、OpenHands 等智能体在兼容矩阵中逐版验证（均为官方自述）。

社区项目。官网首页的 From the community 栏列出 rapidmlx-menubar 菜单栏工具，以及把 Rapid-MLX 列为被测引擎之一的独立基准套件 mlx-Chronos。

和同类比

和 mlx-lm 比：mlx-lm 由 Apple 的 ml-explore 团队发布，许可证为 MIT，也是 Rapid-MLX 的运行时依赖之一。对比页写在 Mac mini M4 Pro 48 GB、Qwen3.5-9B 4-bit、贪心解码、两者都用默认设置的条件下，Rapid-MLX 0.15.6 相对 mlx-lm 0.32.0 单任务最高 4.27×，18 个流式任务的解码加速中位数为 1.50×，20 个任务端到端中位数为 1.37×（均为官方自述，测于 2026-10-04）。对比页把加速归因于默认开启的投机解码，包括 MTP 与 prompt lookup；mlx-lm 需另配 draft model 才启用投机解码。

和 oMLX 比：oMLX 的许可证为 Apache-2.0，GitHub 描述为带 continuous batching 与 SSD 缓存、从 macOS 菜单栏管理的推理服务器。官网首页 How it compares 表写在 Mac Studio M5 Max 36 GB、Qwen3.5-9B 4-bit 条件下，单流解码 Rapid-MLX 0.16.1 为 115.5 tok/s，oMLX 0.7.0 为 77.9 tok/s，LM Studio 为 81.0 tok/s；每个引擎只运行一次，Rapid-MLX 默认在纯文字通道启用投机解码（均为官方自述，测于 2026-10-12）。

和 Ollama 比：Ollama 的许可证为 MIT。README 对比表写 Ollama 有 macOS 与 Windows 桌面应用，并在 GGML/GGUF 引擎之外提供 MLX 引擎；Rapid-MLX 只支持 Apple Silicon，引擎为 MLX。

适合与不适合

适合：

  • 在 Apple Silicon Mac 上运行本地模型，并给 Claude Code、Codex CLI 等编码智能体提供本地接口的开发者。
  • 打算让一台常开的 Mac 作为局域网推理端点、同时服务多个应用的小团队。
  • 同时需要 OpenAI 与 Anthropic 两种接口格式的本地应用。

不适合：

  • Intel Mac、Windows 或 Linux 用户：官网 FAQ 写需要 M1 或更新的 Apple Silicon 和 macOS 14 及以上，README 写 Windows 与 Linux 桌面版暂未提供。
  • 依赖第三方独立性能数据做选型的场景：官网对比数据为官方自测，部分为单次运行。
  • 希望 Cursor 直连本机的用法：官网 FAQ 写 Cursor 从自己的服务器调用模型，需要 HTTPS 隧道才能连到本机。

上手路径

安装。README 给出两种方式：brew install rapid-mlx，使用 homebrew-core 的预编译包；或 curl -fsSL https://rapidmlx.com/install.sh | bash 的引导安装脚本。官网 FAQ 写安装脚本会探测 Python 3.10+，在 ~/.rapid-mlx 建立虚拟环境，并把 rapid-mlx 链接到 ~/.local/bin，不需要 sudo。README 另列 uv 与 pip 安装方式，pip 需 Python 3.10+，并附安装安全说明。

启动服务。rapid-mlx serve <model> 首次运行时自动下载模型，服务地址为 http://localhost:8000/v1；rapid-mlx chat 直接对话；rapid-mlx recipe 按本机内存给出推荐模型。

接入智能体。README 写安装编码智能体后执行 rapid-mlx launch codex 等命令即可接入；rapid-mlx launch codex --remove 会移除 Rapid 的私有配置，不改动现有的 Codex 设置。

多机使用。官网写以 rapid-mlx serve --host 0.0.0.0 无界面运行，--trusted-hosts 设为客户端使用的 IP 或主机名，--api-key 用于认证。

Desktop。官网提供 macOS 应用下载，要求 macOS 14 或更新版本和 Apple Silicon；Desktop 页写 16 GB 内存较为宽裕，8 GB 可运行较小的模型。

定价与许可证

价格：免费。官网首页写引擎与 Desktop 应用都免费开源，采用 Apache 2.0，不需要账号，也没有云端推理。服务条款写 Desktop 应用免费分发，可用于个人或商业用途，但不得把修改后的构建冒充为官方发布。

许可证：LICENSE 文件顶部为项目抬头，写有 Rapid-MLX 与 Copyright 2025-2026 the Rapid-MLX contributors，声明依 Apache License, Version 2.0 授权，并写明部分代码源自其他 Apache-2.0 与 MIT 项目、署名见 NOTICE；抬头之后是 Apache License 2.0 全文。README、官网、pyproject.toml 与 PyPI 均标为 Apache-2.0，与 LICENSE 一致。GitHub API 的许可证字段显示 NOASSERTION。

NOTICE。仓库根目录有 NOTICE 文件。NOTICE 列出仓库内的第三方代码及其许可，涉及 MIT、Apache-2.0、CC0 1.0 和 BSD 3-Clause 等；运行时依赖 MLX、mlx-lm、mlx-vlm 与 mlx-audio 为 MIT。NOTICE 写可选的 Python extras 会引入其他许可，其中包括 copyleft 许可，这些 extras 不装进 Desktop 应用。

模型权重。NOTICE 写软件不分发模型权重，权重在运行时从发布方下载，各自适用其许可；服务条款写部分模型禁止商用。

风险与局限

遥测默认开启。隐私页写匿名使用遥测在显示提示后默认开启，可在 Desktop 的 Settings → Privacy 或用 rapid-mlx telemetry off 关闭，设置 RAPID_MLX_TELEMETRY=0 或 DO_NOT_TRACK=1 也会关闭；Desktop 每次启动做一次更新检查，只发送应用版本号。隐私页写不收集 prompts、对话、文件内容与 API key。

在线工具。官网写模型在本机运行，在线工具会把调用发往其各自的服务。

Share Compute。该功能为实验功能，需在设置中手动开启。指南写开启后这台 Mac 为 QuickSilver 的线上调用提供推理，换取 QuickSilver API credit，不是现金收益；需要 QuickSilver provider key，共享期间该模型不可用于本地聊天。

流式输出问题。2026-10-26 03:27 (UTC+8) 提出的 P1 级流式输出问题 #5259，标题为 reasoning-only finalization copies private reasoning into visible answer lanes，已于 2026-10-26 09:28 (UTC+8) 关闭；同时提出的 #5260，涉及 Responses 与 Messages 流中原生工具封装与解析结果同时输出，已于 2026-10-26 07:34 (UTC+8) 关闭。

版本差异。截至 2026-10-26，homebrew-core 中 rapid-mlx 的稳定版为 0.15.7，GitHub 最新发布为 v0.16.9。

代码来源。NOTICE 写原作者和任何上游项目都不为这一发行版背书。

性能数据。官网对比表写每个引擎只运行一次，Rapid-MLX 0.16.1 默认在纯文字通道启用投机解码（官方自述）。

我们的判断

Rapid-MLX 的特点是：在 Apple Silicon Mac 上运行，同时兼容 OpenAI 与 Anthropic 两种接口，并把工具调用解析、continuous batching 和前缀缓存放在同一个服务器里；采用 Apache 2.0 许可，Desktop 应用免费。

它的限制：只支持 Apple Silicon；性能数字为官方自测；遥测默认开启，可以关闭。

资料来源

官方

  1. Rapid-MLX — Up to 4× Faster Than Apple's MLX | Local LLMs on Apple Siliconrapidmlx.com · 访问于 2026 年 10 月 26 日
  2. Rapid-MLX vs mlx-lm, up to 4× faster than Apple's MLX, measured task by taskrapidmlx.com · 访问于 2026 年 10 月 26 日
  3. Rapid-MLX vs oMLX vs LM Studio: 1.50× 27B decode on M5 Maxrapidmlx.com · 访问于 2026 年 10 月 26 日
  4. Rapid-MLX 0.16.9 — Smoother Desktop chats and reliable model loadingrapidmlx.com · 访问于 2026 年 10 月 26 日
  5. Rapid-MLX Desktop (macOS app page)rapidmlx.com · 访问于 2026 年 10 月 26 日
  6. Privacy | Rapid-MLXrapidmlx.com · 访问于 2026 年 10 月 26 日
  7. Terms of Use | Rapid-MLXrapidmlx.com · 访问于 2026 年 10 月 26 日
  8. Rapid-MLX READMEGitHub · 访问于 2026 年 10 月 26 日

动态与深度阅读