llama.cpp版本更新
llama.cpp v0.9.0：FP8 量化与多序列推理加速
llama.cpp 是一套在本地运行大语言模型的推理库，覆盖 CPU、CUDA、Metal 等多种硬件后端。
v0.9.0 新增 OCP FP8 E4M3 量化，并加入 flash_attn_ext_rows，让统一 KV 缓存在多序列推理时更省资源。本版还支持 Clover、Limite、Metis-1.6 与 Mistral Large 4 等架构，扩展 Chatterbox TTS 等语音能力，并对 Gemma 4 小尺寸模型做了预填充优化；底层 ggml 升到 v0.29.0。
要点
- 新增 OCP FP8 E4M3 量化
- flash_attn_ext_rows 优化多序列 KV
- 支持 Clover 等四种新架构
- 扩展 TTS 与转写能力
- ggml 升级到 v0.29.0
原文：llama.cpp · v0.9.0
This release adds OCP FP8 E4M3 quantization support, a new `flash_attn_ext_rows` op that makes the unified KV cache efficient for multi-sequence inference, and a generic batched tensor copy API.
收录于 。摘自 GitHub 版本发布的简短节选，著作权归原发布者所有。