Ollama来自创作者
Ollama 在 Apple 芯片上改由 MLX 驱动(预览版),速度大幅提升
Ollama 发布预览版,把 Apple 芯片上的运行基础改为 Apple 的机器学习框架 MLX,以利用其统一内存架构,在 M5 系列芯片上还会调用新的 GPU 神经加速器,加快首 token 时间和生成速度。
预览版同时支持 NVIDIA 的 NVFP4 格式,并升级了缓存,可跨对话复用并在提示中的关键位置存档。Ollama 称,0.19 版在 int4 量化下预填充可达每秒 1851 token、解码每秒 134 token,运行需配备 32GB 以上统一内存的 Mac。
要点
- 测试模型为阿里 Qwen3.5-35B-A3B,NVFP4 量化。
- 对比对象是 Ollama 0.18 的 Q4_K_M 旧实现。
- NVFP4 让本地结果与生产推理环境保持一致。
- 共享前缀在旧分支被丢弃后仍能保留更久。
原文:Ollama is now powered by MLX on Apple Silicon in preview
As more inference providers scale inference using NVFP4 format, this allows Ollama users to share the same results as they would in a production environment.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。