llama.cpp版本更新

llama.cpp v0.6.0:新增 llama_batch_ext API,支持 GLM-5.3-Flash

llama.cpp v0.6.0 新增 llama_batch_ext 扩展批处理 API(含 llama_process()),支持混合 token 和 embedding 的批次,以及 MTP、deepstack 模型的逐 token 状态 embedding。

新支持的模型包括 320B 文本加视觉混合模型 GLM-5.3-Flash(GLM5-Next)和 Clef 决策模型,Qwen4Exp 支持 MTP 投机解码,服务器新增面向决策模型的 /v1/systemone 接口。Metal 新增 F16 KV 的 tensor API flash attention 内核,ggml 更新到 v0.26.0。

要点

  • 新增 llama_batch_ext 扩展批处理 API。
  • 支持 GLM-5.3-Flash(GLM5-Next)320B 模型。
  • Qwen4Exp 支持 MTP 投机解码。
  • 服务器新增 /v1/systemone 接口。
  • ggml 更新到 v0.26.0。

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部