llama.cpp版本更新

llama.cpp v0.5.0:加速 CUDA conv2d,服务器可绑定多个地址

llama.cpp v0.5.0 用隐式 GEMM 加速 CUDA conv2d,并为 Metal 加入 MoE 和 SSM_CONV 融合优化。服务器可以同时绑定多个地址,--host 支持逗号分隔的 TCP 地址和 UNIX 套接字。

新模型方面加入 HRM-Text (DFM Mimir 1B) 支持,以及 MiMo-V2.6 和 HunyuanOCR 的转换支持;ggml 更新到 v0.25.0。

要点

  • 用隐式 GEMM 加速 CUDA conv2d。
  • Metal 新增 MoE 和 SSM_CONV 融合优化。
  • --host 支持逗号分隔的 TCP 地址和 UNIX 套接字。
  • 新增 HRM-Text / DFM Mimir 1B 支持。
  • ggml 更新到 v0.25.0。

原文:llama.cpp · v0.5.0

This release focuses on backend performance and correctness, broader model coverage, and more robust server/router operation.

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部