LongCat-Video-Avatar 1.5 Technical Report
本条目由 AI 按收录标准筛选与撰写,经独立的 AI 核查在原文中逐条找到依据,未经人工审核;数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 技术报告,说明多阶段数据清洗、Whisper 音频特征、逐帧 GRPO 与 DMD 步蒸馏训练流程,含自动指标、专家维度与人评及闭源对照,并给出开源页面与代码仓库。
关键要点
- 该报告将 v1.0 所用的 Wav2Vec2 主音频编码升级为 Whisper-large,以改善唇同步与自然口型动态。
- 该报告在 LongCat-Video 的多奖励 GRPO 框架上,把相对优势从视频级标量扩展为按时间划分的逐帧信号。
- 该报告采用 Distribution Matching Distillation,将推理蒸馏为 8 NFE,并将文本与音频的 CFG scale 设为 4.0。
- 该报告的人评基准在 EvalTalker 样本上补充 stylized 图像后,合计 508 个 image-audio 对。
- 该报告训练管线分为基础模型训练、RLHF 训练与加速训练三阶段。
- 该报告在多人对话设定中为非目标人物引入独立 silent 音频条件,并与目标说话人的语音条件分别绑定。