前沿论文

  • 榜单数据10-16 17:00
  • 论文数据10-16 13:30
  • 周报10-16 11:26
2026-06-11 周四共 16 篇:生成 1 · 代码生成 0 · 智能体 0 · 世界模型与具身 3 · 理解 0 · 音频 10 · 基础模型 2
生成
文生图 0图编辑 0视频生成 13D 生成 0
代码生成
Visual2Code 03D2Code 0
智能体
GUI Agent 0
世界模型与具身
世界模型 0具身智能 3
理解
VLM 0OCR 0
音频
音频 10
基础模型
LLM 2统一多模态 0

这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。

共 16 篇

视频生成P1 顶会ICASSP 2026

A Comprehensive Ecosystem for Open-Domain Customized Video Generation(在新窗口打开)

发布百万级身份保持视频数据集 PexelsCustom-1M,并用 CustoMDiT 高效适配 DiT 做定制视频生成。

  • 构建首个公开百万级 <identity, text, video> 开放域定制视频数据集
  • 提出 CustoMDiT,以约 8% 可学习参数将预训练多模态 DiT 适配为定制生成器
  • 建立 OpenCustom 千类以上基准并计划开源数据、流水线与实现
音频P1 顶会INTERSPEECH 2026

SARA: A Dual-Stream VAE for High-Fidelity Speech Generation via Integrating Semantic and Acoustic Representations(在新窗口打开)

双流 VAE 融合冻结 SSL 语义锚点与残差声学编码,提升重建与零样本 TTS 自然度。

  • 提出 SARA,在紧凑潜空间中同时约束语义与声学信息
  • 重建质量优于强基线,零样本 TTS 更自然且加速推理仍稳健
  • 无需复杂正则即可缓解 codec 与语义 token 的权衡
具身智能P1 顶会ACL 2026

When Does Language Matter? Multilingual Instructions Reveal Step-wise Language Sensitivity in Vision-Language-Action Models(在新窗口打开)

对 VLA 在十种语言 LIBERO 上系统评测,发现非英语指令成功率降 30–50%,并提出逐步推理干预。

  • 首次对 VLA 做多语言系统评测,量化非英语指令下的性能下降
  • 细粒度分析显示语言影响在步骤间高度不均,部分步骤主导失败
  • 提出按步骤语言敏感性的推理时表征对齐,显著改善语言鲁棒性
音频P1 顶会INTERSPEECH 2026

UR-BERT: Scaling Text Encoders for Massively Multilingual TTS Through Universal Romanization and Speech Token Prediction(在新窗口打开)

罗马化统一书写系统并加语音 token 预测,将 TTS 文本编码扩展至多语与低资源场景。

  • 提出 UR-BERT,用共享罗马化表示突破 G2P 资源对语种数量的限制
  • 训练期引入 speech token 预测以增强音系对齐与数据效率
  • 在多语与未见语种上优于近期文本编码器基线
LLMP1 顶会ICML 2026

VIA-SD: Verification via Intra-Model Routing for Speculative Decoding(在新窗口打开)

多级 SD:高置信接受、中置信 slim-verifier、低置信全模型验证,拒绝率降 0.10–0.22,较强 SD 基线快 10–20%。

  • 发现许多被拒 token 可由 verifier 内路由得到的 slim 子模型正确验证
  • 提出 VIA-SD 分层处理 draft token,减少昂贵大模型调用
  • 多任务多模型族上兼容现有 SD 且无需改训练流程
具身智能P1 顶会ICML 2026

Fourier Features Let Agents Learn High Precision Policies with Imitation Learning(在新窗口打开)

将点云映射到 Fourier 空间缓解谱偏置,在 RoboCasa、ManiSkill3 与真机上显著提升高精度操作模仿学习。

  • 假设 Cartesian 条件策略受神经网络低频谱偏置影响,提出 Fourier 特征编码点云
  • 在 RoboCasa、ManiSkill3 及真机挑战性操作任务上验证简单且跨架构鲁棒
  • 表明 Fourier 特征可作为点云模仿学习的通用工具
音频P1 顶会INTERSPEECH 2026

The Hidden Cost of Pairwise Verification in Synthetic Speech Source Tracing(在新窗口打开)

对比全局锚定与成对度量学习,说明成对目标在开源语音溯源上 EER 更高。

  • 在 MLAAD/STOPA 上公平比较全局监督与成对验证溯源方案
  • 分析成对目标如何将方差压入更少嵌入方向、削弱相近生成器区分度
  • 通过瓶颈对照与 k99 分析表明差距不单由维度引起
音频P1 顶会INTERSPEECH 2026

Lung-SRAD: Spectral-Aware Regularized Audio DASS with Dual-Axis Patch-Mix Contrastive Learning for Respiratory Sound Classification(在新窗口打开)

用 SSM 骨干与谱感知正则、双轴 Patch-Mix 对比学习做呼吸音分类,ICBHI 上较 AST 高约 5%。

  • 以 Distilled Audio State Space 为 RSC 骨干并分析谱响应,保留中高频成分
  • 提出谱感知层正则与面向 SSM 的双轴 Patch-Mix 对比学习
  • ICBHI 上达到 64.48% 分数,优于 AST 基线
LLMP1 顶会ACL 2026

Beyond Fully Random Masking: Attention-Guided Denoising and Optimization for Diffusion Language Models(在新窗口打开)

分析 dLLM 注意力后提出 AGDO,按注意力结构去噪并强调关键 token,在数学与代码基准上优于 SOTA 后训练。

  • 实证分析 dLLM 注意力:强依赖未掩码上下文的 token 更稳定且对推理关键
  • AGDO 将训练与优化与注意力依赖对齐,定制去噪顺序
  • 在数学与 coding benchmark 上 consistently 提升推理表现
音频P1 顶会INTERSPEECH 2026

Tight Boundary Prediction in Speaker Diarization Using Causal-Anticausal Consistency(在新窗口打开)

在松散标注下用因果/反因果模型生成更紧伪标签并协同训练,逼近紧标注边界效果。

  • 提出从松散标签学习紧语音区间边界的新任务设定
  • 因果与反因果模型生成更紧伪标签,迭代协同训练逐步收紧
  • 实验称约恢复理想紧标注训练约 70% 的收紧效果并改善下游表现
音频P1 顶会INTERSPEECH 2026

Sensitivity Analysis of Generative Spatial Audio Metrics: A Study on Responsiveness, Smoothness, and Symmetry(在新窗口打开)

提出沿空间轨迹分析 FOA 生成音频评测指标敏感性的框架,比较多种标准度量。

  • 定义空间音频度量的响应性、平滑性、对称性三类期望行为
  • 在可控 FOA 场景下系统评估分布型与样本型指标对方位/俯仰变化的敏感性
  • 指出 FAD 定位嵌入与声学图在复杂场景下更稳健
音频P1 顶会INTERSPEECH 2026

Which Speech Representation Better Matches Text-Native Reasoning? A Study of Speech-Text Alignment on Frame Rate and Representation(在新窗口打开)

在冻结 LLM 下扫帧率与对齐深度,4.17 Hz 中间层对齐在语音 QA 上表现最佳。

  • 将语音 token 设计为表示选择问题,分析时间粒度与语义密度对推理的影响
  • 引入 factorized FSQ 与轻量非自回归 audio LM head 支持低帧率
  • 系统扫帧率与对齐深度,发现 4.17 Hz 与中间层对齐为较优区间
音频P1 顶会INTERSPEECH 2026

Towards Data-free and Training-free Compression for Speech Foundation Models Using Parameter Clustering(在新窗口打开)

用通道级 k-means 聚类做无数据剪枝,HuBERT/Whisper 在多种稀疏度下优于幅度剪枝。

  • 提出面向语音基础模型的无数据、无训练参数聚类压缩
  • 探索按层变化聚类数的混合稀疏剪枝策略
  • LibriSpeech 上相对幅度剪枝显著降 WER,微调后接近未压缩基线
音频P1 顶会INTERSPEECH 2026

HALO: Half-Frame-Rate Adaptive Learnable Operator for Lightweight STFT-Based Speech Enhancement(在新窗口打开)

因果插件 HALO 在 STFT 增强骨干内半帧率处理再恢复,不增延迟,DNS3 上同复杂度下多模型一致增益。

  • 针对 STFT 重叠帧冗余,提出半帧率自适应可学习算子
  • 骨干前降帧率、后轻量动态卷积恢复全率谱,不改变 STFT 流程
  • DNS3 上在匹配复杂度下对多种轻量模型展示一致提升
具身智能P1 顶会ICML 2026

PAWS: Preference Learning with Advantage-Weighted Segments(在新窗口打开)

针对 PbRL 训练与策略优化分布不一致,用片段级优势直接更新策略,在仿真机器人任务上优于现有 PbRL。

  • 分析轨迹/片段偏好训练与逐步效用推断的不匹配及对信用分配的影响
  • PAWS 用片段级优势函数直接做策略更新,与效用训练对齐
  • 在仿真机器人操作与 locomotion 上 consistently 优于现有 PbRL