ERNIE来自创作者
ERNIE 5.0 技术解读：2.4 万亿参数原生统一多模态模型
百度介绍 ERNIE 5.0：一个从零训练、在单一自回归框架内统一文本、图像、视频和音频理解与生成的多模态模型，参数规模 2.4 万亿。
模型把各模态映射到共享 token 空间，采用不按模态划分专家的混合专家架构，每个 token 只激活约 3% 的参数；弹性训练可直接派生不同规模的子模型，上下文从 8K 逐步扩展到 128K，并配有专门的强化学习流程。
要点
- 2.4 万亿参数，从零训练的统一多模态模型。
- 文本、图像、视频、音频共用 token 空间。
- 专家不按模态划分，每 token 激活约 3%。
- 弹性训练可直接派生不同规模子模型。
- 上下文从 8K 分阶段扩展到 128K。
原文：ERNIE 5.0: A 2.4 Trillion-Parameter Unified Multimodal Foundation Model
It is a Unified Multimodal Model trained from scratch to integrate text, images, video, and audio within a single autoregressive framework.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。