Kling-Omni Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为端到端多模态视频生成技术报告，含数据收集与处理系统、预训练与监督微调及强化学习训练策略、推理与训练基础设施优化，以及人工评测基准与 GSB 对比评测。
关键要点
- 架构含 Prompt Enhancer、Omni-Generator、Multimodal Super-Resolution，采用指令预训练、监督微调与强化学习及 3D 并行与模型蒸馏。
- 蒸馏将单条视频推理从 150 NFE 压缩至 10 NFE，分两阶段：轨迹匹配蒸馏与分布匹配蒸馏。
- 训练有效时间比达 97%，故障检测约一分钟内发现挂起，重启可至分钟级。
- 针对 Kling-Omni 的缓存方案约 2× 加速，并设计缓存卸载以缓解内存压力。
- 构建 OmniVideo-1.0 基准，设计超过 500 个 case 评估引用、整合与编辑能力。
- 在 OmniVideo-Benchmark 1.0 上对 Kling-Omni 与 Veo 3.1、Runway-Aleph 做双盲 GSB 人工评测。