llama.cpp版本更新
llama.cpp v0.7.0：MoE 专家 GPU 缓存，默认端口改为 9931
llama.cpp v0.7.0 新增 --moe-cache-mib，为放在主机内存里的 MoE 专家提供 GPU 缓存，专家卸载时解码最多快约 2.2 倍。这一版加入 LiliCorr 推测解码和 GLM5-Next 的 MTP，并支持 K2 Horizon、EmbeddingGemma-2、MiniCPM-V 4.7 等新模型。
服务器默认端口从 8080 改为 9931，Docker 镜像在容器内仍使用 8080；网页界面新增完整的模型管理器。
要点
- 新增 --moe-cache-mib，专家卸载时解码最多快 2.2 倍。
- 新增 LiliCorr 推测解码和 GLM5-Next 的 MTP。
- 支持 K2 Horizon、EmbeddingGemma-2 等新模型。
- 服务器默认端口从 8080 改为 9931。
- ggml 更新到 v0.27.0。
原文：llama.cpp · v0.7.0
ggml updated to v0.27.0: the backend scheduler gains user callbacks for split weight copying and compute-buffer reallocation, and the RPC protocol is bumped to v8 for tensor-parallel RPC servers.
收录于 。摘自 GitHub 版本发布的简短节选，著作权归原发布者所有。