JoyAI-Voice 2.0: A Full-Continuous Autoregressive Speech Generation Model with Semantic-Acoustic Joint Representation
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告阐述全连续双编码自回归语音架构与语义-声学联合表示，采用 flow-matching 与 DiffusionNFT 强化学习训练，并在 Seed-TTS、InstructTTSEval 等基准评测。
关键要点
- 原始波形经 AudioVAE 压缩为连续 latent 并分 patch，语义-声学双编码融合后由因果 Transformer 规划，局部扩散 Transformer 渲染 patch latent 并解码为 48 kHz 波形。
- 训练采用 patch 级 flow-matching 与终止预测目标，监督微调后以 DiffusionNFT 强化学习提升长难文本合成与零样本克隆说话人相似度。
- Seed-TTS 上 JoyAI-Voice2.0-Base 平均识别错误率为 2.51%，相对最强基线降低 14.9%。
- JoyAI-Voice2.0-VoiceDesign 在 InstructTTSEval 的 ZH 与 EN 子集上 APS 均为最高，分别为 90.1 与 84.4。
- MDVD-Eval 上 JoyAI-Voice2.0-VoiceDesign 综合平均分为 0.893，在 10 个感知维度中于 5 项表现最佳。