llama.cpp版本更新

llama.cpp v0.4.0:支持 Qwen3.8-Flash-Next,ggml 升至 0.23.0

llama.cpp 0.4.0 初步支持 Qwen3.8-Flash-Next 架构,官方说明优化仍待完成;同时支持 NVIDIA Nemotron-3-Puzzle-75B-A9B。核心加入按需读取张量(--lazy-mode),服务器可为每个槽位设置上下文上限,并加入视频输入参数。

ggml 从 0.22.0 升至 0.23.0,加入稀疏 flash attention、RPC 事件与异步接口,以及 Apple RDMA 传输。服务器默认开启 preserve_reasoning,并拒绝预填充的 assistant 工具调用。

要点

  • 初步支持 Qwen3.8-Flash-Next。
  • 支持 Nemotron-3-Puzzle-75B-A9B。
  • 可按需读取张量。
  • 服务器支持按槽位限制上下文。
  • ggml 升至 0.23.0。

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部