Rapid-MLX版本更新

Rapid-MLX v0.13.0:支持磁盘流式加载,长对话前缀缓存复用

Rapid-MLX v0.13.0 可通过磁盘流式加载运行超出可用内存的 Qwen3-Next 检查点,并可把 Nemotron-Labs-Diffusion 3B 当作普通文本模型提供服务。混合模型会复用兼容的前缀缓存,官方称经验证的重复轮次预填充从数十秒降到一秒以内。

桌面端新增照片流程,并把语音转文字和文字转语音分开,普通听写不再挤掉当前对话模型。首次设置按实时内存给出模型推荐,切换模型时若有请求在进行会先确认。

要点

  • 支持磁盘流式加载大模型。
  • 混合模型复用前缀缓存。
  • 语音输入与输出分开。
  • 按实时内存推荐模型。

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部