JoyAI-Talker: Full-Duplex Speech Interactive Large Model Built for Empathetic Voice Agents
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告描述全双工 Thinker-Talker 架构、PAER 共情框架与 Joy-Duplex 轮次控制模块，给出从中期训练至 DPO 的语音-文本联合训练流程，并在 T2T、S2T 与全双工基准上开展评测。
关键要点
- JoyAI-Talker 采用模块化 Thinker-Talker 架构，解耦认知规划、对话状态协调与语音生成，并通过统一语音-文本联合训练缓解常见认知退化瓶颈。
- PAER 为分层认知流水线：从原始音频提取性别、年龄、情绪等非言语线索，融入 Thinker 的 CoT 推理，生成语义适配且可控表达性的回应。
- 在 Full-Duplex-Bench v1.5 上，Joy-Duplex 于用户打断场景达到 0.88 的高响应率，背景语音下误触发极低。
- JoyAI-Talker-DPO 在 MATH 上达 94.62%，体现联合训练后在文本域保留推理与 STEM 能力。
- Thinker 语言骨干基于 JoyAI-LLM Flash 稀疏 MoE，总参数 48.9B，每输入 token 约激活 3.28B 参数。
- Talker 采用文本可控生成范式，可用自然语言指令及 [Laughter]、[Sigh] 等显式副语言 token 控制局部非词汇发声与话语级表达。