KlingAvatar 2.0 Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为快手团队技术报告，阐述时空级联扩散、Co-Reasoning Director 与多角色音频控制方法，含增强数据集、自动化多角色标注流水线及 GSB 主观评测与多基线对比。
关键要点
- 时空级联先在空间与时间维度上采样：生成低分辨率 blueprint 关键帧捕获全局语义与运动，再以 first-last frame 策略 refine 为高分辨率、时序一致的子片段。
- Co-Reasoning Director 由音频、视觉、文本三个 LLM 专家多轮 co-reasoning，输出结构化 shot 级 storyline；negative director 细化负向提示以提升指令对齐。
- 多角色场景在 deep DiT 层特征上接 mask-prediction head，预测 mask 门控各 identity 的音频注入；训练用 YOLO、DWPose、SAM2 的自动化标注流水线生成 GT mask。
- 实验按 human preference 的 GSB pairwise 协议，构建 300 个含图像、音频与文本提示的测试用例，含中文语音、英文语音与 singing 样本。
- 定量 GSB 在 Overall 等维度与 HeyGen、Kling-Avatar、OmniHuman-1.5 对比；相对 HeyGen 的 Overall GSB 为 1.26。
- 引言称空间-时间级联在相对先前方法提升计算效率的同时，对最长 5 分钟视频保持身份一致与故事连续。