前沿论文

  • 榜单数据10-16 17:00
  • 论文数据10-16 13:30
  • 周报10-16 11:26
2026-06-17 周三共 15 篇:生成 0 · 代码生成 0 · 智能体 0 · 世界模型与具身 1 · 理解 1 · 音频 10 · 基础模型 3
生成
文生图 0图编辑 0视频生成 03D 生成 0
代码生成
Visual2Code 03D2Code 0
智能体
GUI Agent 0
世界模型与具身
世界模型 0具身智能 1
理解
VLM 1OCR 0
音频
音频 10
基础模型
LLM 3统一多模态 0

这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。

共 15 篇

音频P1 顶会INTERSPEECH 2026

A Closer Look at Failure Modes in Temporal Understanding of Large Audio-Language Models(在新窗口打开)

构建含 1657 题的机制分析基准,揭示 LALM 时序推理失败与注意力分配问题及无微调干预效果。

  • 发布面向 LALM 时序推理机制分析的三任务基准(1657 题)
  • 行为分析显示有文本线索时模型常欠用音频;给出首个时序失败因果机制分析
  • 瓶颈层注意力重分配优于单纯放大音频注意力,无微调可将准确率从 55.9% 提至 59.1%
LLMP1 顶会ICML 2026

SoftMoE: Soft Differentiable Routing for Mixture-of-Experts in LLMs(在新窗口打开)

用截断 soft top-k LapSum 替代离散路由,使专家路由可梯度优化并学习层间容量分配,性能可比或优于稀疏 MoE 且激活更少专家。

  • 提出 SoftMoE:可微软路由替代离散 top-k,兼容自回归
  • 参数化每层平均激活专家数并施加全局预算约束
  • 语言建模与下游任务上可比或更优,后期层激活更多专家的非均匀分配
音频P1 顶会INTERSPEECH 2026

L-Proto: Language-Aware Episodic Prototypical Training for Multilingual Speaker Verification(在新窗口打开)

通过单语 episode 采样减少语言与说话人身份纠缠,在 TidyVoice Challenge 上稳定提升多架构表现。

  • 提出语言感知情节式原型训练 L-Proto,每 episode 仅从单一语言采样说话人
  • 缓解多语训练中嵌入按语言聚类、身份与语言 cues 纠缠的问题
  • 在 TidyVoice Challenge 上优于常规微调与随机 episode 采样
音频P1 顶会INTERSPEECH 2026

PhASE-Flow: Phonetic-Conditioned Acoustic Flow Matching in SSL Representation Domain for Speech Enhancement(在新窗口打开)

在 SSL 潜空间用流匹配建模干净声学表示,四步采样即达 SOTA 级感知质量与可懂度。

  • 提出全程在 SSL 空间操作的 FM 语音增强框架 PhASE-Flow
  • 以音素表示为条件建模干净声学表示分布,再经神经 vocoder 重建波形
  • 感知质量与可懂度优于 SOTA 基线,四步采样即可高效推理
VLMP1 顶会IJCAI 2026

MLLMs Get It Right, Then Get It Wrong: Tracing and Correcting Late-Layer Textual Bias(在新窗口打开)

发现图文冲突时 MLLM 中间层常已有正确视觉判断,终层被文本覆盖;提出无训练 CALRD 在推理时恢复被压制的视觉预测。

  • 揭示 late-layer textual override:视觉信息编码但未保留到输出
  • 利用预测变化方向区分成败,设计冲突感知层参考解码 CALRD
  • 五类 MLLM 上冲突基准最高约 9.4% 绝对提升且基本保持常规定性能
LLMP1 顶会NeurIPS 2025

MGUP: A Momentum-Gradient Alignment Update Policy for Stochastic Optimization(在新窗口打开)

MGUP 在 AdamW/Lion/Muon 上对部分参数大步、其余小步更新,MAE/LLM 预训练与微调上更稳或更优。

  • 提出 MGUP:每步对固定比例参数加大步长、其余非零小步,可插拔接入多种动量优化器
  • 为 MGUP-AdamW(无 weight decay)在标准假设下给出收敛保证
  • 在 MAE 预训练、LLM 预训练与下游微调上验证优于或稳定于基线优化器
音频P1 顶会INTERSPEECH 2026

DeSRPA: Decoupled Speech Role-Playing Agent via Inference-Time Intervention(在新窗口打开)

冻结骨干上双级控制向量同步认知与副语言,在 SpeechRole/OmniCharacter 上优于 E2E 且接近 GPT-4o Audio 自然度。

  • 提出免训练的 DeSRPA:内部认知引导与外部表达渲染的双层控制向量
  • 缓解 E2E 角色扮演对角色数据依赖与损害 LLM 推理的模态对齐代价
  • 在人格与情感一致性上显著优于 E2E 基线,语音自然度逼近 GPT-4o Audio
具身智能P1 顶会CoRL 2026

WireCraft: A Simulation Benchmark for Industrial DLO Manipulation(在新窗口打开)

面向线缆等 DLO 的工业操作仿真基准,含三类任务族;特权状态 RL 成功率超 82%,视觉策略与 VLA 仍明显更难,仿真数据可显著提升真机表现。

  • WireCraft:可配置难度与资产的工业 DLO 操作仿真基准(三类任务族)
  • 支持两种 DLO 物理模型,发布仿真与 UR5 真机轨迹
  • 统一评测 RL、IL、VLA;真机上仿真数据混合可提升 15–65 个百分点
音频P1 顶会INTERSPEECH 2026

Grounding Spoken LLMs in Multi-Speaker Audio via Diarization Conditioning(在新窗口打开)

用 diarization mask 条件化声学编码器提取目标说话人表示、解码器冻结,Dixtral 在多说话人转写与远场 QA 上显著优于多款基线。

  • diarization-conditioned SLM:编码器条件化、解码器冻结,避免 Serialized Output 灾难遗忘
  • Dixtral:DiCoW + Voxtral,多数据集 speaker-attributed 转写 cpWER 大幅提升
  • 长形式多说话人 QA 上零样本匹配 Gemini,微调后超越 Gemini 与近讲 Voxtral
音频P1 顶会INTERSPEECH 2026

From Signals to Patterns: Non-Invasive Tuberculosis Detection from Cough Audio using Bandit Weighted Hyperbolic Prototypes(在新窗口打开)

提出 COBALT 融合框架,结合谱特征与音频基础模型表示,在 CODA TB DREAM 上取得最优筛查表现。

  • 提出基于码本对齐双曲原型与 bandit 可靠性加权的异质表示融合框架 COBALT
  • 融合 MFCC 与 PaSST 等表示,在 CODA TB DREAM Challenge 上优于单模与拼接基线
  • 验证谱描述子与大规模预训练音频嵌入在咳嗽筛查中的互补性
音频P1 顶会INTERSPEECH 2026

Perceptual compensation for tonal context in self-supervised speech models(在新窗口打开)

在普通话声调上复现感知补偿实验,比较 wav2vec2.0 自预训练与 ASR 微调是否体现音韵语境补偿。

  • 在普通话声调上对 wav2vec2.0 做感知补偿类伪复现实验
  • 对比纯自监督预训练与 ASR 微调模型的嵌入与探测分类结果
  • 指出纯预训练难以复现人类孤立音节表现,监督目标或更利于音韵抽象
音频P1 顶会INTERSPEECH 2026

Learning task-specific subspaces via interventional post-training of speech foundation models(在新窗口打开)

用干预对比学习将语音基础模型纠缠表示映射为内容与说话人子空间,提升域外说话人验证并分离说话人与内容信息。

  • 干预对比学习与多部分对比损失做 speech foundation model 后训练
  • 学习 content 与 speaker 分离子空间
  • 说话人验证与关键词 spotting 上改进,尤其域外说话人验证
音频P1 顶会INTERSPEECH 2026

Towards Speech Impairment Prediction in German-Speaking Individuals with Amyotrophic Lateral Sclerosis(在新窗口打开)

用临床言语评分与重复任务等语音,在 66 名德语 pwALS 上预测 dysarthria 相关生活质量。

  • 比较横断面(跨说话人)与个体化(说话人内)两种建模范式
  • 分析常见言语任务对预测与数据采集标准化的作用
  • 重复任务在横断面 CCC 达 0.62,个体化设置 CCC 达 0.86
LLMP1 顶会INTERSPEECH 2026

Evaluating Large Language Models Abilities for Addressee, Turn-change, and Next Speaker Prediction in Meetings(在新窗口打开)

在 AMI 上对比监督模型、文本/多模态 LLM 与人类;纯文本 LLM 在下一说话人预测上已超监督与人类。

  • 构建受话人检测、话轮转换与下一说话人预测三类任务的评测框架
  • AMI 上文本 LLM 在下一说话人预测优于监督模型与人类且未用音视频
  • 多模态 LLM 在受话人与话轮任务优于文本 LLM 仍低于人类,对话上下文尤为关键
音频P1 顶会INTERSPEECH 2026

A Generalized Formalism of Auto-Regressive Decoding for Speech Processing(在新窗口打开)

为语音序列预测中的自回归搜索策略建立显式纳入标准与统一理论框架,便于比较、评测与以解码为中心的消融。

  • 明确语音 AR search 的纳入标准,缓解“是否自回归”定义不一致
  • 广义理论框架对神经模型搜索策略分类与报告
  • 支持以解码过程为中心的基准设计与搜索策略消融