MiMo-V2-Flash Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为小米 MoE 大语言模型技术报告，阐述混合滑动窗口注意力、轻量多 token 预测与 MOPD 三阶段后训练，含预训练语料与阶段调度、领域教师 RL 与智能体 RL 训练及 RL 基础设施模块，提供基座与推理能力对比评测并开源权重。
关键要点
- MiMo-V2-Flash 为 MoE，总参数 309B，每 token 激活参数 15B。
- 模型在 27 trillion tokens 上预训练，原生上下文 32k，后扩展至 256k。
- 滑动窗口为 128 token，局部滑动窗口与全局注意力混合比例为 5:1。
- 后训练引入 Multi-Teacher On-Policy Distillation（MOPD）范式。
- SWE-Bench Verified 得 73.4%，SWE-Bench Multilingual 得 71.7%。
- 三层 MTP 作 speculative decoding 时，接受长度最高约 3.6，解码加速约 2.6 倍。