llama.cpp版本更新
llama.cpp v0.5.0:加速 CUDA conv2d,服务器可绑定多个地址
llama.cpp v0.5.0 用隐式 GEMM 加速 CUDA conv2d,并为 Metal 加入 MoE 和 SSM_CONV 融合优化。服务器可以同时绑定多个地址,--host 支持逗号分隔的 TCP 地址和 UNIX 套接字。
新模型方面加入 HRM-Text (DFM Mimir 1B) 支持,以及 MiMo-V2.6 和 HunyuanOCR 的转换支持;ggml 更新到 v0.25.0。
要点
- 用隐式 GEMM 加速 CUDA conv2d。
- Metal 新增 MoE 和 SSM_CONV 融合优化。
- --host 支持逗号分隔的 TCP 地址和 UNIX 套接字。
- 新增 HRM-Text / DFM Mimir 1B 支持。
- ggml 更新到 v0.25.0。
原文:llama.cpp · v0.5.0
This release focuses on backend performance and correctness, broader model coverage, and more robust server/router operation.
收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。