JoyVoice: Long-Context Conditioning for Anthropomorphic Multi-Speaker Conversational Synthesis
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 语音合成论文，阐述 E2E-Transformer-DiT、MM-Tokenizer、课程学习与声学偏好优化等方法，并在 Seed-TTS-Eval 与自建多说话人多轮长音频基准上报告零样本克隆评测。
关键要点
- JoyVoice 采用统一 E2E-Transformer-DiT，自回归隐状态直接作为扩散输入，原生支持长上下文与最多八说话人多轮对话合成。
- MM-Tokenizer 在 12.5 Hz 码率运行，通过多任务语义损失与重建损失同时建模语义与声学信息。
- 长音频训练数据含 30 秒至 5 分钟片段，说话人数量可为 1–8；微调阶段音频最长可至五分钟、说话人最多八名。
- 自建 JoyVoice-MSMT-eval 覆盖 2 至 4 说话人对话，脚本对应 1 至 5 分钟长音频，并引入 cpWER/cpCER 作为客观指标。
- 在 SEED-TTS-Eval 上，JoyVoice 在 test-zh 的 CER 为 0.97，test-en 的 WER 为 1.69。
- 端到端训练在 tokenizer 从 25 Hz 降至 12.5 Hz 时，相较级联基线仍保持与 25 Hz 设定相近的性能。