MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告提出 Omni-Flow 全双工流式框架与时序对齐语音生成策略，描述端到端全模态架构、分阶段训练与强化学习流程，并给出视觉、语音及全双工流式评测与推理优化方案。
关键要点
- Omni-Flow 将全模态输入输出沿共享时间轴对齐，把轮次交互转为全双工、时序对齐过程。
- 可学习组件在 token 级端到端连接，总规模约 9B 参数，支持联合优化。
- 贡献中称可在边缘设备上以低于 12GB RAM 运行实时全双工全模态交互。
- 全双工设计消融中，在该设定下 chunk size 为 1.0 s 提供最佳平衡。
- LiveSports-3K-CC 上 MiniCPM-o 4.5 胜率为 54.4。
- instruct 模式下 OpenCompass 平均分为 77.6。