Decoupled DiLoCo: A new frontier for resilient, distributed AI training
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 Google DeepMind 博客，阐述 Decoupled DiLoCo 分布式训练架构及其与 Pathways、DiLoCo 的关系，含混沌工程硬件故障测试与跨区域预训练及性能对照实验。
关键要点
- Decoupled DiLoCo 基于 Pathways 与 DiLoCo，在 Pathways 上实现跨 learner units 的异步训练，单一区域芯片故障不中断其他部分进度。
- 测试中用混沌工程在训练期间引入人为硬件故障；整组 learner units 失效后训练仍可继续，恢复上线后可无缝重新接入。
- 以 Gemma 4 验证：硬件故障时学习集群可用性高于传统训练方式，最终 benchmark 的 ML 性能与常规训练相当。
- 在美国四个独立区域用 2-5 Gbps 广域网成功完成 120 亿参数模型的 fully distributed 预训练。
- 相较常规同步方法，该系统达成上述训练结果的速度快 20 倍以上，并将必要通信融入更长计算周期以避免阻塞瓶颈。
- 同一训练 run 可混合不同硬件代际；实验中不同代际、不同速度的芯片仍达到与单一芯片类型训练相当的 ML 性能。