ERNIE 5.0 Technical Report

2026-10-28阅读约 2 分钟AI 生成已核查

本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。

百度文心报告发布于 2026-02-04arXiv多模态训练基础设施

涉及模型ERNIE 5.0DS V3.2-Exp-BaseKimi K2-BaseGemini 3-ProGPT-5 (High)

收录理由

该报告为百度 ERNIE 团队发布的 arXiv 技术报告，系统描述统一自回归多模态架构、视觉与音频建模、弹性预训练、SFT 与统一多模态 RL 后训练、混合并行与解耦式 RL 基础设施，并报告文本与视觉等基准评测及路由与弹性训练消融。

ERNIE 5.0 从零同时训练各模态，将异构输入映射到共享 token 空间，并在 Next-Group-of-Tokens Prediction 目标下统一优化，而非在预训练语言模型上后挂模态专用组件。
骨干为超稀疏 MoE，路由决策 conditioning 于统一 token 表示而非模态标识；报告称其 activation rate below 3%，并采用 auxiliary-loss-free load balancing 以支撑大规模训练。
弹性训练在单次预训练中对每个训练实例按调度采样不同深度、宽度与路由稀疏度的子网络，全模型与子模型在同一反向传播、同一自回归目标下联合优化。
消融指出推理时将 routing top-k 降至 25% 时，decoding speedup 超过 15%，且仅有 minor accuracy loss。
同一段消融称弹性训练在 depth、width 与 sparsity 上，仅用 53.7% activated parameters 与 35.8% total parameters 即可 preserves near-full performance。
后训练为 SFT 加 unified multimodal reinforcement learning（UMRL），并引入 unbiased replay buffer、MISC、WPSM 与 adaptive hint-based RL 以应对稀疏奖励与 entropy collapse 等 RL 训练问题。