llama.cpp版本更新
llama.cpp v0.4.1:支持 Maple 20B-A1B 等新模型
llama.cpp v0.4.1 新增对 Maple 20B-A1B、Tencent Hy 4 和 Spark2.5 的支持,其中 Maple 20B-A1B 仅支持 CPU,Tencent Hy 4 为预览架构支持,同时改进了 JSON schema 处理、聊天解析、日志和服务端子进程管理,并把 ggml 更新到 v0.24.0。
已弃用的 --mmap、--mlock 和 --direct-io 参数被移除,需改用 --load-mode;服务端默认开启 --reasoning-preserve,并修复了同一模型多次请求时 LRU 卡住的问题。
要点
- 支持 Maple 20B-A1B 等新模型。
- ggml 更新到 v0.24.0。
- 移除 --mmap 等参数,改用 --load-mode。
- 新增 --log-jsonl 结构化日志。
- 服务端默认开启 --reasoning-preserve。
收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。