ERNIE来自创作者
百度 FastDeploy 2.0：面向 ERNIE 4.5 的大模型推理部署工具
百度推出基于飞桨的大模型推理部署工具 FastDeploy 2.0，兼容 OpenAI API 并与 vLLM 接口对齐，集成量化、CUDA Graph、投机解码、上下文缓存和预填充/解码分离等加速技术。
它支持英伟达 GPU 和昆仑芯、天数智芯、海光、燧原等国产芯片。百度称，2-bit 量化可把 300B 参数 ERNIE-4.5 的权重从 600 GB 压到 89 GB，4-bit 量化最少用 4 张 GPU 即可部署。
要点
- 兼容 OpenAI API，与 vLLM 接口对齐。
- 支持英伟达及多家国产 AI 芯片。
- 2-bit 量化把 300B 权重压到 89 GB。
- 4-bit 量化最少 4 张 GPU 可部署。
- CUDA Graph 使轻量模型解码提速超 2 倍。
原文：FastDeploy 2.0: A Large-Scale Model Inference and Deployment Toolkit with Native Support for ERNIE 4.5
Under the condition of 1.1K input sequence length, the A3B model on an H800 GPU maintained TPOT within 25 ms, while the 0.3B and 0.6B models on an A30 GPU kept TPOT within 16 ms.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。