Ollama来自创作者
Ollama 0.30 借助 llama.cpp 改进 GGUF 支持,NVIDIA 显卡提速最高 20%
Ollama 0.30 借助 llama.cpp 改进了性能和 GGUF 模型兼容性,作为 Apple 芯片上 MLX 引擎之外的补充,让更多模型能在更多硬件上运行。
在 NVIDIA 硬件上速度最高提升 20%,测试使用 RTX 5090 运行 Q4_K_M 量化的 Gemma 4 26B。Vulkan 现已默认开启,AMD 和 Intel 设备无需安装厂商专用库即可用 GPU 加速。
要点
- 兼容 LFM、Prism 等模型系列和 Unsloth 微调模型。
- 用 Modelfile 的 FROM 指向 GGUF 文件即可导入。
- 支持工具调用的模型可直接接入编程智能体。
- 提速来自 NVIDIA 和 llama.cpp 团队贡献的优化。
原文:Improved performance and model support with GGUF
Vulkan is now enabled by default, extending Ollama’s GPU acceleration to a wider range of hardware, including AMD and Intel devices.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。