前沿论文

  • 榜单数据10-16 17:00
  • 论文数据10-16 13:30
  • 周报10-16 11:26
2026-06-23 周二共 32 篇:生成 4 · 代码生成 0 · 智能体 0 · 世界模型与具身 5 · 理解 3 · 音频 18 · 基础模型 2
生成
文生图 3图编辑 1视频生成 03D 生成 0
代码生成
Visual2Code 03D2Code 0
智能体
GUI Agent 0
世界模型与具身
世界模型 0具身智能 5
理解
VLM 3OCR 0
音频
音频 18
基础模型
LLM 2统一多模态 0

这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。

共 32 篇

VLMP1 顶会ECCV 2026

Improving Reasoning in Vision-Language Models via Perception Verified Self-Training(在新窗口打开)

用 caption-推理-结论模板与 PerceptEval 无监督验 caption,课程自训练最多比基线高 16%。

  • 感知验证自训练框架,分离感知与推理并独立验证视觉理解
  • PerceptEval 无监督评估 caption 与图像文本对齐
  • 两阶段课程:易样本训练再对中等样本条件于 verified caption 重生成推理
图编辑P1 顶会SIGGRAPH 2026

BoxCtrl: 3D-Aware Visual Prompting for Geometric Image Editing(在新窗口打开)

用投影到 2D 的 RGB 3D 包围盒作视觉提示,SFT+在线 RL 实现平移、旋转、缩放等几何编辑 SOTA。

  • 三色正交面编码位姿与尺寸,解耦几何控制与外观控制
  • 构建大规模合成 SFT 数据,并用无配对真实数据的在线 RL 弥合域差
  • 在平移、旋转、缩放及组合编辑任务上达到 state-of-the-art
VLMP1 顶会ICML 2026

CFPO: Counterfactual Policy Optimization for Multimodal Reasoning(在新窗口打开)

提出 CFPO,用跨模态反事实增强约束视觉与文本推理的因果一致,较标准 RL 基线提升约 3.17%–6.25%。

  • 通过抑制关键视觉线索的反事实状态正则化策略,强化因果一致性
  • 可与 GRPO、DAPO 等算法结合,无需外部奖励模型或额外监督
  • 在推理保真度上显著优于标准 RL 与感知感知方法 PAPO
具身智能P1 顶会ECCV 2026

LIBERO-Safety: A Comprehensive Benchmark for Physical and Semantic Safety in Vision-Language-Action Models(在新窗口打开)

提供参数化安全基准、keypose 数据管线与 19664 条无碰撞演示,系统评估八种 VLA 的安全与泛化张力。

  • 程序化生成带随机性的安全关键场景基准
  • keypose 驱动数据生成, curated 大规模严格无碰撞演示集
  • 揭示高多样性训练与安全轨迹及任务成功与语义对齐之间的瓶颈
LLMP1 顶会ACL 2026

Beyond Value Benchmarks: Measuring Value-Structure Alignment in Large Language Models via Symmetric Q-Sorts(在新窗口打开)

提出对称人机 Q-sort 协议,用 Procrustes 与 RSA 量化 LLM 与人类的价值观结构对齐。

  • 基于 Q 方法论的对称 human-LLM 价值结构评测框架
  • 140 条道德陈述上建立三因子参考几何并评测 12 个 LLM
  • 揭示跨模型族异质性与局部错位,补充条目级道德基准
音频P1 顶会INTERSPEECH 2026

Adding Robust Code-Switching Capabilities to High Performance Multilingual ASR(在新窗口打开)

用贝叶斯因子化适配在强预训练 ASR 上集成语码切换知识,CSW 词错误降 32.87% 且单语能力不降。

  • 提出贝叶斯因子化适配,避免微调覆盖原有强单语能力
  • 少量合成 CSW 数据即可显著降低语码混合转写错误
  • 整体 WER 改善 5.31%,强调知识整合优于单纯堆数据
具身智能P1 顶会ECCV 2026

PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models(在新窗口打开)

用强化学习后训练延长可靠动作块、削减冗余物理步,提升 VLA 部署效率且不降成功率。

  • 定义并优化 VLA 的策略效率:可执行块长度与物理步数
  • 动态探索奖励更长可靠动作块预测
  • 冗余感知奖励减少无效物理动作
音频P1 顶会INTERSPEECH 2026

FlowTTS-GRPO: Online Reinforcement Learning with Multi-Objective Reward Optimization for Flow-Matching Based Text-to-Speech(在新窗口打开)

为 Flow-Matching TTS 提出在线 RL 框架 FlowTTS-GRPO,在 CosyVoice 3.0 与 F5-TTS 上提升说话人相似度与听感质量。

  • 将 ODE 轨迹转为 SDE 路径,无需辅助模型即可微调开源 FM-TTS
  • 加权奖励组合较概率方案收敛更快,并给出三项训练实践优化
  • 在 CosyVoice 3.0 与 F5-TTS 上取得客观与主观偏好提升
文生图P1 顶会NeurIPS 2026

Safe Few-Step Generation via Velocity Editing(在新窗口打开)

提出训练无关的 VESFlow,在极少步 Flow Matching 文生图下通过编辑速度场实现概念移除并保真良性提示。

  • 基于安全条件后验的贝叶斯分解直接编辑速度场,不改提示词
  • 结合风险分数过滤,在良性提示下跳过编辑以降算力
  • 在 4 步 MeanFlow 上显著降低 Ring-A-Bell、MMA-Diffusion 等攻击成功率
音频P1 顶会INTERSPEECH 2026

AugCodec: A Low-Bitrate Disentangled Neural Speech Codec via Data Augmentation(在新窗口打开)

AugCodec 用增强策略解耦语义、说话人与韵律 token,12.5Hz 三流下重建与解耦优于 SOTA。

  • 用定制增强将语音分解为语义、说话人、韵律三类 token
  • augmentation loss 对齐源语音与变声后的语义编码
  • LibriSpeech test-clean 上重建质量与解耦显著优于 SOTA
具身智能P1 顶会ICML 2026

SCOPE: Evolving Symbolic World for Planning in Open-Ended Environments(在新窗口打开)

SCOPE 用 SESim 验证执行与 SASMem 蒸馏符号知识,在开放环境中演化符号世界并提升长程规划成功率。

  • 自适应符号规划框架,同时 refine 计划与演化符号世界表示
  • SESim 符号验证与真实执行反馈闭环 refine 计划
  • SASMem 将反馈蒸馏为演化符号知识以支撑长程规划
VLMP1 顶会ECCV 2026

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs(在新窗口打开)

在隐藏状态空间预测生成是否不安全,仅在实际有害时干预,在保持安全的同时大幅减轻过度拒答。

  • 指出输入侧护栏忽视模型自身可产出安全回复,导致 over-refusal
  • 提出输出感知范式,用多实例对比学习训练轻量分类器
  • 安全性能可比现有方法,同时显著保留模型效用与内置安全能力
音频P1 顶会INTERSPEECH 2026

Bridging the Age Gap: Towards Detecting Neural Audio Codec Synthesized Elderly Speech Deepfake(在新窗口打开)

发布老年 codec 伪造检测任务 ECFD 与 ECF 数据集,BONSAI 融合 LanguageBind 与 ImageBind 建立新基准。

  • 提出 ECFD 并发布英中 Elderly-CodecFake 数据集
  • 揭示既有 CF 检测器在老年语音上泛化差
  • 提出 BONSAI,以 Jensen-Shannon 散度融合多模态基础模型
音频P1 顶会INTERSPEECH 2026

Benchmarking Large Language Models for Grapheme-to-Phoneme Conversion: A Japanese Case Study(在新窗口打开)

系统评测 30+ LLM 做日语 G2P,最优假名 CER 低于 0.52%,优于传统工具并利于可控 TTS。

  • 在 3000 句人工标注数据上对比 LLM 与传统形态分析器
  • parse 模式(分析+规则转假名)多数优于 direct 端到端读法
  • LLM 预测假名接入假名输入 TTS 优于端到端 TTS 发音
具身智能P1 顶会ECCV 2026

FlowDec: Temporal Conditional Flow Decorruptor for Robust Continuous Vision-Language Navigation(在新窗口打开)

为 LM 型 VLN-CE 设计 FlowDec 图像恢复,混合时序条件与动作质心滤波,导航精度与延迟优于 SOTA 去损坏。

  • 针对 VLN-CE 在视觉损坏下性能退化提出专用去损坏框架
  • 混合时序条件对齐生成流路径与历史上下文
  • 动作质心引导滤波动态评估并融合输出,提升鲁棒导航
LLMP1 顶会EMNLP 2026

Breaking the Likelihood Trap: Variance-Calibrated Modulation for Large Language Model Decoding(在新窗口打开)

提出训练-free 的 VCM,在截断采样前重塑概率分布,缓解重复与词汇单调并改善开放生成。

  • 提出 Variance-Calibrated Modulation 作为解码前干预
  • PMI 上下文探照与自适应自去偏动态调制 logits
  • 可与现有解码策略叠加,开销可忽略
音频P1 顶会INTERSPEECH 2026

Don't Listen to Me: A Lightweight, Low-Latency Model for Own-Voice Cancellation in Far-Field Speech Enhancement(在新窗口打开)

提出 OVC 任务与约 2ms 算法延迟的时域模型,从混音中去除登记说话人并保留他人语音,利于远场回传场景。

  • 定义 own-voice cancellation,针对远场设备回传导致的本声失真问题
  • 以短注册语音为条件,对比 TD-SpeakerBeam 与 Mamba-MinGRU 掩码器
  • 线性 RNN 编码器替代 ConvTasNet 辅助网,提升 SDR 与预测 MOS 并降算力
音频P1 顶会INTERSPEECH 2026

MSU-Bench: Towards Speaker-Centric Understanding in Conversational Multi-Speaker Scenarios(在新窗口打开)

发布多说话人对话理解诊断基准,覆盖 16 类说话人中心任务与分层评测框架。

  • 提出 MSU-Bench 含 2300 条 QA 的两层任务框架
  • Gemini 辅助标注与人机校验的 QA 生成流程
  • 分析说话人 grounding 与多说话人推理瓶颈
文生图P1 顶会ICLR 2026

Data Provenance for Image Auto-Regressive Generation(在新窗口打开)

利用 IAR 生成过程固有模式,提出事后框架在不改生成流程的情况下追溯图像来源模型。

  • 发现 IAR 生成图像中存在可用于溯源的 characteristic patterns
  • 事后检测框架无需修改生成过程或输出,适用于已发布无水印内容
  • 在多种 IAR 上验证溯源检测有效性
音频P1 顶会INTERSPEECH 2026

Towards Detecting Neural Audio Codec Synthesized Heart Sounds(在新窗口打开)

提出合成心音检测任务 SHAC 与 CARDIOFAKE 基准,GROOT 融合谱特征与 WavLM 达 SOTA。

  • 定义 SHAC 任务并发布 CARDIOFAKE 真实与 codec 合成 PCG 基准
  • 系统评测 MFCC、LFCC 与 WavLM 等表示
  • 提出 GROOT 融合谱特征与 SSL 特征以利用互补性
音频P1 顶会INTERSPEECH 2026

Learning to Evade: Adaptive Attacks on Audio Watermarking(在新窗口打开)

AWM 两阶段优化攻击音频水印,将解码概率拉回估计正态范围,检测率可低于 10% 或 0%。

  • 发现水印解码消息概率呈正态分布并被防御利用
  • AWM 自适应估计分布参数以规避 state-of-the-art 检测
  • 在两种水印、三个语音数据集上高成功率绕过替换/创建/移除检测
音频P1 顶会INTERSPEECH 2026

CAAD: Contrastive Audio-Aware Distillation for Efficient Speech Language Models(在新窗口打开)

将对比音频-文本 logits 推理内化到学生权重,同步 teacher-forcing 降低蒸馏开销。

  • Contrastive Audio-Aware Distillation 内化音频感知对比信号
  • 同步 teacher-forcing 高效生成教师对比分布
  • 在 Dynamic-SUPERB 与 MCR-BENCH 验证增益与偏置缓解
音频P1 顶会INTERSPEECH 2026

HALAS: A Human-Annotated Dataset of Hallucinations of Modern ASR Systems(在新窗口打开)

首个真实 earnings call 上七类 SOTA ASR 自然幻觉 span 标注集与检测评测基准。

  • 发布 HALAS 含 span 级幻觉标注与自然语音场景
  • 揭示跨模型词汇重叠及低 WER 仍幻觉现象
  • 建立非人工构造的 ASR 幻觉检测基准
音频P1 顶会INTERSPEECH 2026

Integrating Facial Generation into Full-Duplex Spoken Dialogue Systems(在新窗口打开)

Moshi-Face 在全双工对话中同步输入音视频并生成语音与 3D 面部 motion token,低延迟视听对齐。

  • VQ-VAE 面部 codec 编码 3D 头网格为 face token 并可重建
  • Face Transformer 非自回归生成 face token,与 Moshi 实时同步
  • 保持原 Moshi 对话质量并实现低延迟视听对齐
音频P1 顶会INTERSPEECH 2026

From Text Metrics to Model Internals: A Study of Whisper ASR Hallucination Detection(在新窗口打开)

比较文本、LLM 与解码器内部探针三类 Whisper 幻觉检测,晚期融合效果最佳。

  • 系统评估文本、LLM 与内部状态三类检测范式
  • 无参考探针中间层表示对幻觉判别最强
  • 文本与内部状态晚期融合取得最优综合表现
音频P1 顶会INTERSPEECH 2026

Toward Open-Set Speaker Attribute Prediction with Keyword-Appended LLM Embeddings(在新窗口打开)

用 keyword-appended LLM 嵌入表示开放集说话人属性,LibriTTS-P 上优于闭集方法并泛化未见同义词。

  • 用 LLM 嵌入在连续语义空间做开放集说话人属性预测
  • keyword-appending 将宽语义压缩为可判别流形
  • top-k negative loss 在拥挤语义区建立稳健决策边界
音频P1 顶会INTERSPEECH 2026

Physics-Informed Neural Operator for Speech Production Analysis(在新窗口打开)

首个 PINO 语音产生模型,无预计算监督数据学习一维波方程,GPU 并行仿真误差约 0.8%–3.2%。

  • 提出 PINO 方法直接学习语音产生 governing 方程
  • 以声道形状预测 f0、声门流量与唇边声压并与 RK/FD 对比
  • 实现高效 GPU 并行仿真,无需迭代数值求解
音频P1 顶会INTERSPEECH 2026

Cross-lingual Retrieval-Augmented Classification for Dysarthria Severity Assessment(在新窗口打开)

CRAC 通过对齐-检索-融合利用跨语言病理语音,提升韩意数据集上的严重程度分类。

  • 提出跨语言检索增强分类 CRAC 缓解标注稀缺
  • 监督对比学习构建严重程度嵌入空间
  • 交叉注意力融合检索参考与输入语音
文生图P1 顶会CVPR 2025

Adversarial Domain Prompt Tuning and Generation for Single Domain Generalization(在新窗口打开)

用预训练扩散 T2I 生成跨域训练数据,PAPT 学习域不变与域特定抽象 prompt 生成多域风格图像。

  • 首次用预训练 T2I 为单域泛化构造 OOD 训练数据
  • 提出 PAPT:对抗学习两类抽象 prompt 作为扩散条件
  • SDG 实验优于现有 SOTA 单域泛化方法
具身智能P1 顶会ICML 2026

Provably Efficient Policy-Reward Co-Pretraining for Adversarial Imitation Learning(在新窗口打开)

理论分析 AIL 中奖励误差是次优主因,提出 CoPT-AIL 联合 BC 预训练策略与奖励并给出更好模仿界。

  • 指出仅策略预训练不足,奖励预训练是关键缺口
  • CoPT-AIL 单次 BC 流程联合预训练策略与 shaping 奖励
  • 首次给出 AIL 预训练收益的理论保证并实验验证优于现有 AIL
音频P1 顶会INTERSPEECH 2026

ESPnet3: Infrastructure for Scalable Speech and Audio Research in the Foundation Model Era(在新窗口打开)

发布模块化 ESPnet3 框架,配置驱动数据集组合与分片训练,缩短 OWSM 每 epoch 时间并提高多节点 GPU 利用。

  • DataOrganizer 抽象便于灵活集成与数据集分片
  • 统一 Python workflow 与轻量 stage 覆盖降低 recipe 改动
  • OWSM 预训练与微调实验验证效率与易集成性