Ollama MLX 引擎更新:支持 NVFP4、提速最高 20%,并加入快照缓存
Ollama 更新了面向 Apple 芯片的 MLX 引擎,新增对 NVIDIA NVFP4 格式的支持,并加入新的快照系统来减少智能体任务中的重复计算。 在 Gemma 4 12B 上,NVFP4 相比常用的 q4_K_M 量化,质量损失大约减半,同时保持性能。通过把多个操作融合进单个 Metal 内核并改进 GPU 采样,引擎速度最高提升 20%。
原文Agent workloads are dominated by prompt processing. Every tool call is a new request, and every request resends the whole transcript: system prompt, tool definitions, and every file read so far.
















