ERNIE来自创作者
ERNIE 4.5 引入 PLAS 稀疏注意力，长上下文推理提速
百度为 ERNIE-4.5-21B-A3B 和 ERNIE-4.5-300B-A47B 推出长上下文推理加速更新，目前适用于用 FastDeploy 部署的 Paddle 版本。
加速来自可插拔稀疏注意力机制 PLAS：它把文本切成块，由一个可学习的小模块只挑选最相关的块参与计算，无需改动原模型权重。百度称在平均约 11.3 万 token 输入的长文本测试中，精度变化可以忽略。
要点
- 适用于 FastDeploy 部署的 Paddle 版本。
- PLAS 按块挑选最相关内容计算注意力。
- 无需修改原模型权重即可加装。
- 测试平均输入约 11.3 万 token。
原文：ERNIE 4.5 Gets a Major Inference Speed Boost
The best part is its “pluggable” nature. We can add PLAS to a fully trained model without changing the original weights, ensuring that the model’s core knowledge remains intact.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。