Rapid-MLX版本更新
Rapid-MLX v0.13.0:支持磁盘流式加载,长对话前缀缓存复用
Rapid-MLX v0.13.0 可通过磁盘流式加载运行超出可用内存的 Qwen3-Next 检查点,并可把 Nemotron-Labs-Diffusion 3B 当作普通文本模型提供服务。混合模型会复用兼容的前缀缓存,官方称经验证的重复轮次预填充从数十秒降到一秒以内。
桌面端新增照片流程,并把语音转文字和文字转语音分开,普通听写不再挤掉当前对话模型。首次设置按实时内存给出模型推荐,切换模型时若有请求在进行会先确认。
要点
- 支持磁盘流式加载大模型。
- 混合模型复用前缀缓存。
- 语音输入与输出分开。
- 按实时内存推荐模型。
收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。