MegaScale-Omni: A Hyper-Scale, Workload-Resilient System for MultiModal LLM Training in Production
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为EUROSYS系统论文，基于编码器与LLM复用方案，含解耦并行、联合流水线及负载均衡方法，并在动态负载下与四套系统进行吞吐对照，用于内部大规模多模态训练部署。
关键要点
- 训练多模态大语言模型依赖动态模态混合比例与样本长度分布，现有系统在动态负载下因编码器与LLM骨干间静态耦合的资源分配与并行决策而低效。
- MegaScale-Omni含解耦并行策略、统一编码器-LLM表示与编码器-LLM联合流水线，以及数据加载去中心化分组重排与编码器到LLM秩自适应重分片等负载均衡手段。
- 编码器采用长短序列并行处理变长样本，LLM骨干采用完整5D并行，并置于通信高效的并行布局下组织。
- 该系统作为内部大规模多模态训练任务基础部署，使用数千GPU。
- 实验在产线级动态 workloads 下，相较四套 state-of-the-art 系统实现1.27×–7.57×吞吐提升。