MiMo-Audio: Audio Language Models are Few-Shot Learners
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
收录理由
报告给出音频 tokenizer、统一自回归架构、分阶段训练配置及理解与生成评测，适合研究音频模型的规模化预训练。
关键要点
- 以 8 层 RVQ 和音频 patch 缩短序列，统一预测文本 token 与音频 patch（第 2.2 节）。
- 两阶段预训练分别使用 2.6T 与 5T token，并保留文本训练数据（第 3.2 节）。
- SpeechMMLU 覆盖 34 个学科、8,549 道题及四种跨模态输入输出设置（第 3.3.1 节）。
- Base 模型在 SpeechMMLU S2S 得分 69.1，文本与语音模态差距为 3.4 分（表 6）。
- Instruct 模型以 100B token 覆盖六类后训练任务（第 4.2 节）。
深度解读
MiMo-Audio（arXiv:2512.23808）研究的核心不是为 ASR、TTS 或音频问答分别训练模型，而是检验大规模 next-token prediction 能否让音频语言模型获得少样本任务迁移能力。报告同时覆盖 tokenizer、基础模型、后训练和跨模态评测 [1]。编者判断：这便于追踪各阶段的证据。
方法与架构
MiMo-Audio-Tokenizer 从 24 kHz 波形提取 100 Hz Mel 频谱，经编码器降至 25 Hz，再由 RVQ 离散化。用于语言模型训练时取 8 个 RVQ codebook，即每秒 200 个音频 token；模型把连续 4 帧聚为一个 patch，将 LLM 看到的音频序列降至 6.25 Hz（第 2.1、2.2 节；表 2）[1]。这种设计试图同时保留语义、音色和韵律，并缓解音频序列远长于文本序列的问题。
主模型以 MiMo-7B-Base 为 LLM backbone。6 层双向 patch encoder 把一个 patch 压成 LLM 隐状态，16 层因果 patch decoder 再生成音频 token；不同 RVQ 层采用递增 delay pattern，避免同一时刻并行预测所有码本时忽略层间依赖（第 2.2.1–2.2.3 节；表 2）[1]。文本 token 与音频 patch 可交错输入，模型据当前位置预测文本或音频，因此理解和生成共享同一自回归目标（公式 8–15）[1]。
训练与数据
Tokenizer 第一阶段使用超过 11M 小时数据联合优化音频重建与 audio-to-text，第二阶段冻结编码器和量化模块，引入判别器改善波形细节（第 2.1.2 节）[1]。主模型语料包含文本、纯语音及语音—文本数据；原始音频规模为数亿小时，来源包括 podcast、有声书、新闻、访谈与会议录音，并经过 VAD、说话人分离、ASR、质量评估以及语义和非语义双维标注（第 3.1 节）[1]。
预训练分两阶段。理解阶段共 2.6T token，其中 1.2T 为文本、1.4T 为语音相关 token，只在文本位置计算损失；理解—生成联合阶段共 5T token，其中 2.6T 为文本、2.4T 为音频，并加入 speech continuation、TTS 与 instruction-following TTS 等七类格式（第 3.2.1、3.2.2 节）[1]。后训练再使用 100B token，覆盖 ASR、TTS、音频理解、口语对话、指令 TTS 和文本对话六类任务，并全参数更新三个组件（第 4.2 节）[1]。
评测与结果
报告构造 SpeechMMLU：把 MMLU 筛成 34 个学科的 8,549 个样本，再合成为语音，形成 T2T、S2T、T2S、S2S 四个同题对照 split；每题使用 5-shot 上下文（第 3.3.1 节；表 4）[1]。MiMo-Audio-7B-Base 在 S2S、S2T、T2S 上分别得到 69.1、69.5、71.5，T2T 为 72.5，因此论文定义的 T2T–S2S 模态差距为 3.4 分；MMAU overall 为 66.0（表 6）[1]。
少样本生成评测还覆盖 voice conversion、emotion/rate conversion、denoising 与 speech translation，使用 16-shot 成对语音示例（第 3.3.1 节；表 4、5）[1]。Instruct 模型在论文自报设置下取得 MMAU overall 74.90、MMAR 63.60；Big Bench Audio 的 S2T/S2S 分别为 72.90/60.20（表 8）[1]。这些结果同时覆盖理解、对话和生成，但均来自模型团队报告，不等同于独立复现。
局限与开放问题
SpeechMMLU 由 commercial TTS 合成（第 3.3.1 节）[1]。编者判断：该设置主要测量合成语音条件下的跨模态知识保持，不能直接代表真实口音、噪声和自然对话分布。部分 speech continuation 与难以自动评分的生成任务只展示定性 demo，而非统一的人评或盲测结果（第 3.4 节）[1]。报告描述了数亿小时音频的处理流程，但没有给出各来源、语言和许可类别的精确配比（第 3.1 节）[1]。
编者判断：本报告最值得关注的是把“音频 few-shot learning”落到可对照的四种模态路径和多类未见任务，而非单纯追求某个 ASR 或 TTS 分数。后续关键验证应是第三方在真实录音、多语言与说话人外推条件下复现实验，并拆分数据规模、tokenizer 保真度和训练目标各自的贡献。