Qwen3.5-Omni Technical Report
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
收录理由
报告公开 Thinker–Talker 架构、ARIA 流式对齐、分阶段多模态训练、服务延迟及跨音频视觉评测。
关键要点
- Thinker 与 Talker 均采用混合注意力 MoE，支持 256k token 上下文（原文第 2.1 节）。
- ARIA 以自适应速率约束对齐文本与语音 token，替代固定交错（原文第 2.4 节）。
- 预训练分三阶段，通用阶段使用约 4 trillion 个多模态 token（原文第 3 节）。
- Thinker 后训练依次采用专家蒸馏、在线蒸馏和交互对齐强化学习（原文第 4.1 节）。
- 报告同时评测文本、音频、视觉、音视频理解与多语种语音生成（原文第 5 节）。
深度解读
方法与架构
Qwen3.5-Omni 延续 Thinker–Talker 分工：Thinker 接收文本、图像、音频与视频并生成文本，Talker 读取 Thinker 的高层表示和文本流，再自回归预测多码本语音 token，由流式 ConvNet 解码波形 [1]（原文第 2.1、2.4 节）。两部分都采用 Hybrid-Attention MoE；音频编码器 AuT 以 40 million hours 音频文本对从头训练，输出速率为 6.25Hz [1]（原文第 2.2 节）。
长输入通过显式时间戳与时间位置编码对齐音视频。报告给出的上限是 256k token、超过 10 hours 音频，以及 1 FPS 下超过 400 seconds 的 720P 视频 [1]（原文第 1、2.1 节）。语音侧的 ARIA 不依赖固定交错率，而约束任意前缀中的累计语音／文本 token 比不超过样本级全局比例，以缓解漏词、误读和数字表达不稳定 [1]（原文第 2.4 节）。
数据与训练
预训练分为编码器对齐、通用训练和长上下文三个阶段。通用阶段使用约 4 trillion tokens，其中正文列出 text 0.92 trillion、audio 1.99 trillion、image 0.95 trillion、video 0.14 trillion、video-audio 0.29 trillion；长上下文阶段把最大长度从 32,768 提升到 262,144 [1]（原文第 3 节）。这些分项按原文照录，但其合计关系报告没有解释。
Thinker 后训练先由文本、视觉、音频等领域教师生成蒸馏数据，再用 on-policy distillation 把文本条件下的回答能力迁移到音频输入，最后针对多轮对话中的语言切换、角色不一致和长程指令遵循做 Interaction-Aligned RL [1]（原文第 4.1 节）。Talker 则依次经历通用训练、64k 长上下文继续预训练、DPO 与 GSPO、说话人微调 [1]（原文第 4.2 节）。
评测结果
文本评测中，Plus 在 IFBench 为 52.6，Qwen3.5-Plus-Instruct 为 51.1；但 AA-LCR 分别为 57.0 和 62.0，说明“全模态不降级”并非每项都持平 [1]（原文表 4）。音频评测中，Plus 在 Fleurs top-60 的 WER 为 6.55，报告列出的 Gemini-3.1 Pro 为 7.32；SEED-TTS test-zh／test-en 的 WER 为 0.99／1.26 [1]（原文表 5、表 8）。
音视频到文本评测里，Plus 在 DailyOmni、Qualcomm IVD 和 Omni-Cloze 分别为 84.6、68.5、64.8；OmniGAIA 工具使用为 57.2，低于同表 Gemini-3.1 Pro 的 68.9 [1]（原文表 7）。表 7 还注明所有结果由 DeepSeek-V3.2-Thinking 充当裁判，OmniGAIA 未使用 thinking prompt 与格式化 [1]（原文表 7 注释）。
局限与值得关注的问题
报告没有独立局限章节。服务延迟来自启用 torch.compile、CUDA Graph 和内部 vLLM 的理论测量，且作者明确说 Plus 与 Flash 的资源分配、并行策略不同，不适合严格横向比较 [1]（原文第 2.5 节、表 2）。部分多语种语音测试集是内部构建，语音识别器或模型裁判也参与计分 [1]（原文第 5.2.2 节、表 7）。
编者判断：这份报告最有研究价值的是把长音视频理解、低延迟语音输出和工具调用放进同一训练链条，并披露 ARIA 与分阶段训练；但公开结果仍以开发方自报为主，真实流式负载和跨语言稳定性需要独立复现。