Voxtral TTS
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 技术报告，说明 Voxtral Codec 与混合解码训练及 DPO 后训练流程，含自动指标与母语者盲评对比，并发布 CC BY-NC 模型权重。
关键要点
- Voxtral TTS 用 Voxtral Codec 将参考语音转为语义与声学 token，decoder 自回归生成语义 token，flow-matching transformer 在 decoder 隐状态上预测声学 token。
- Voxtral Codec 将 24 kHz 单声道波形编码为 12.5 Hz 帧（每帧 1 个语义 token 与 36 个声学 token），总码率约 2.14 kbps。
- 该模型支持 9 种语言，参考音频可短至 3 秒，并面向低延迟流式推理设计。
- 零样本声音克隆盲评中，相对 ElevenLabs Flash v2.5 的总体微平均胜率为 68.4%。
- 在 implicit steering 设定下，Voxtral TTS 持续优于两款 ElevenLabs 模型。
- 模型权重在 CC BY-NC 许可下公开 release。