Script-a-Video: Deep Structured Audio-visual Captions via Factorized Streams and Relational Grounding
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 论文，提出 MTSS 结构化音视频场景脚本范式，含四流分解与关系 grounding，并在 caption 评测、推理 benchmark 与生成 pipeline 上报告训练与实验指标。
关键要点
- MTSS 以 Stream Factorization 将视频分解为 Reference、Shot、Event、Global 四流，并以 Relational Grounding 经显式身份与时间链 reconnect。
- 摘要在 Video-SALMONN-2 上报告 MTSS 使总错误率平均降低 25%。
- 摘要在 Daily-Omni 推理 benchmark 上报告 MTSS 平均性能增益 67%。
- 摘称无架构适配时，以 MTSS 替换单体 prompt 的多镜头生成在跨镜头身份一致上人类评分提升 45%。
- 引言称 Qwen3-Omni 采用 MTSS 时 Video-SALMONN-2 的 Total Error Rate 由 0.5853 降至 0.5156。
- 引言称多镜头生成中 human-rated consistency 由 1.22 提升至 1.77。