MMR-V: What's Left Unsaid? A Benchmark for Multimodal Deep Reasoning in Videos（在新窗口打开）
面向远距离多帧与隐藏信息推理的视频基准；当前 MLLM 仍弱，Gemini-2.5-pro 约 64.3% 准确率。
- 要求跨 question frame 远距离取证且需推理而非单纯感知
- 317 视频、1257 任务，人工标注与混淆项设计提升可靠性
- 显示 CoT 与测试时算力扩展对视频多模态推理增益有限
前沿论文
17 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-20 18:44
返回聚合视图2025-06-05 周四共 31 篇：生成 0 · 代码生成 0 · 智能体 0 · 世界模型与具身 1 · 理解 10 · 音频 14 · 多语 0 · 基础模型 6
- 生成
- 文生图 0图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0代码 Agent 0工具调用 0
- 世界模型与具身
- 世界模型 0具身智能 1
- 理解
- VLM 9OCR 1
- 音频
- 音频 14
- 多语
- 多语言与翻译 0
- 基础模型
- LLM 6统一多模态 0
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 31 篇
Homogeneous Keys, Heterogeneous Values: Exploiting Local KV Cache Asymmetry for Long-Context LLMs（在新窗口打开）
发现 KV 局部同质/异质不对称，提出免训练 AsymKV，LongBench 上优于 H2O 等长上下文方法。
- 揭示相邻 key 同质、value 异质的 KV cache 不对称性
- AsymKV：同质 key 合并 + 可证无损 value 压缩
- 多模型与任务上 consistently 优于现有长上下文压缩方法
Causal Path Alignment: Anchoring the Optimization Trajectory for Controllable In-Parameter Knowledge Editing（在新窗口打开）
提出 CPA，将编辑更新约束在关系感知因果路径上，缓解主体主导记忆干扰与 shortcut 学习。
- 诊断主体主导记忆干扰源于优化过拟合主体表示、绕过关系上下文
- CPA 使参数更新经关系感知中间状态，提升关系特异性、副作用小
- 可作为即插即用模块用于多种现有 in-parameter 编辑器
BitTTS: Highly Compact Text-to-Speech Using 1.58-bit Quantization and Weight Indexing（在新窗口打开）
QAT 将 TTS 参数量化至约 1.58 比特并结合 weight indexing，模型缩小 83% 且音质优于同规模基线。
- 采用量化感知训练将多数参数压为三值 {-1,0,1} 的约 1.58 比特表示
- 提出 weight indexing，以 int8 索引紧凑存储权重组
- 端侧 TTS 体积显著下降且合成质量优于未量化的同规模基线
Comparative Analysis of Fast and High-Fidelity Neural Vocoders for Low-Latency Streaming Synthesis in Resource-Constrained Environments（在新窗口打开）
提出 MS-Wavehax 多流声码器，在 CPU 流式场景下兼顾低延迟与高音质，体小易部署。
- 在 aliasing-free Wavehax 上做多流分解得到 MS-Wavehax
- 在仅 CPU 环境分析流式声码器延迟与吞吐权衡及瓶颈
- 主观评测表明因果与非因果条件下音质高且模型紧凑
Stronger Baselines for Retrieval-Augmented Generation with Long-Context Language Models（在新窗口打开）
在匹配 token 预算下，简单 DOS RAG 在长上下文 QA 上可匹敌或优于 ReadAgent、RAPTOR 等多阶段 RAG。
- 提出 DOS RAG：检索后按原文顺序阅读，保留结构与来源 fidelity
- 系统对比多阶段 RAG 与基线，分析 recall 与复杂度权衡
- 建议将 DOS RAG 作为未来 RAG 评测的强基线
RSVP: Reasoning Segmentation via Visual Prompting and Multi-modal Chain-of-Thought（在新窗口打开）
两阶段框架将多模态 CoT 推理与视觉定位结合，再经 VLSM 精修，在 ReasonSeg 等上显著优于 SOTA。
- 提出 RSVP 两阶段结构，统一多步推理与 grounded 分割
- 推理阶段用多模态 CoT 视觉提示生成可解释区域提议
- 分割阶段用 VLSM 融合文本与视觉线索输出精确 mask
MFLA: Monotonic Finite Look-ahead Attention for Streaming Speech Recognition（在新窗口打开）
微调 Whisper 做前缀到前缀流式 ASR，MFLA 与 wait-k 解码可控权衡延迟与识别质量。
- Continuous Integrate-and-Fire 建立连续语音与离散文本的准单调对齐
- Monotonic Finite Look-ahead Attention 允许无限左、有限右上下文
- 理论与实验表明延迟与质量可控，适于多种流式应用
Guided Speculative Inference for Efficient Test-Time Alignment of LLMs（在新窗口打开）
GSI 用小模型推测采样与奖励模型近似 soft best-of-n 最优策略，推理任务更准且端到端延迟最多降 28%。
- 结合 soft best-of-n 与辅助模型推测采样实现奖励引导解码
- 理论上近似最优倾斜策略及该策略下的期望奖励
- 在 MATH500 等推理 benchmark 上优于相关基线，部分设置甚至优于用 base 模型的 soft best-of-n
HYFuse: Aligning Heterogeneous Speech Pre-Trained Representations in Hyperbolic Space for Speech Emotion Recognition（在新窗口打开）
在双曲空间融合 codec CBR 与 WavLM 类 RLR，语音情感识别性能达 SOTA。
- 首次探索 CBR 与 RLR 在 SER 中的互补融合
- 提出双曲空间异质表示融合框架 HYFuse
- x-vector 与 Soundstream 融合优于单表示及同质融合基线
Efficient Data Selection for Domain Adaptation of ASR Using Pseudo-Labels and Multi-Stage Filtering（在新窗口打开）
多策略过滤 Whisper/Zipformer 伪标签，数据从 7500 小时缩至约 100 小时仍保持相近 WER。
- 融合 WER 预测、NER、CER 等策略筛选高质量训练片段
- 在呼叫中心伪标注上微调达约 12.3% WER
- 相较依赖三系统假设的 CER 基线展示更强数据效率
ConText: Driving In-context Learning for Text Removal and Segmentation（在新窗口打开）
首次将 V-ICL 用于 OCR 文本移除与分割，任务链提示与上下文聚合在域内外基准达 SOTA。
- 提出 image-removal-segmentation 任务链 compositor 增强中间推理
- context-aware aggregation 将链式提示融入 latent 查询表示
- 自提示策略缓解文本识别场景的视觉异质性与示范选择难题
Towards Better Disentanglement in Non-Autoregressive Zero-Shot Expressive Voice Conversion（在新窗口打开）
改进非自回归表达性 VC，减轻源音色泄漏并加强语言-声学解耦，情感与说话人相似度优于基线。
- 多语言离散语音单元表示，配合增强相似度损失与 Mix-Style LN 抑制泄漏
- F0 交叉注意力与全局 pitch/energy 风格嵌入增强表现力迁移
- 在情感与说话人相似度上优于基线，源风格泄漏更低
RoboRefer: Towards Spatial Referring with Reasoning in Vision-Language Models for Robotics（在新窗口打开）
3D 感知 VLM 经 SFT/RFT 与 RefSpatial 数据训练，空间指称 SOTA，可接多种策略在真实场景执行长程任务。
- 提出 RoboRefer：深度编码器 + SFT/RFT 的 3D 空间指称 VLM
- 发布 RefSpatial（约 20M QA）与 RefSpatial-Bench 评测
- 可与 UR5、G1 等控制策略集成完成 cluttered 场景任务
PARC: A Quantitative Framework Uncovering the Symmetries within Vision Language Models（在新窗口打开）
PARC 框架分析 VLM 对语言/视觉 prompt 变体的敏感性与可靠性，InternVL2 等表现更稳健。
- 提出 PARC：plausible 变体 + 可靠性分数 + 校准的 prompt 敏感性分析
- 发现 VLM 在视觉域复现 LLM 式 prompt 敏感，破坏性变体常改变期望答案
- 22 模型评测中 InternVL2 系列最抗变体；敏感性与训练数据相关
Seeing the Arrow of Time in Large Multimodal Models（在新窗口打开）
用 ArrowRL 反向奖励 RL 与 AoTBench 增强 LMM 对视频时间不可逆性的感知与问答表现。
- 系统分析现有基准与模型在时间方向理解上的不足
- 提出 ArrowRL，以正反向视频解释差异作为反向奖励注入 AoT 意识
- 构建 AoTBench 并在标准视频 VQA 上取得显著提升
From Understanding to Generation: An Efficient Shortcut for Evaluating Language Models（在新窗口打开）
将生成式基准改为更便宜的 NLU 形式，与原版强相关，平均评测时间降 35 倍以上。
- 把 NLG 评测 reformulate 为计算更省的 NLU 替代任务
- 在 8 个 LM 与推理、代码等四类能力上检验两种格式性能相关性
- 支持训练过程中以低开销监控关键 LLM 能力
Graph Counselor: Adaptive Graph Exploration via Multi-Agent Synergy to Enhance LLM Reasoning（在新窗口打开）
提出多智能体协作 GraphRAG，自适应提取多层图信息并自反思，提升图推理准确率与泛化。
- AGIEM 中规划、思考与执行智能体协同，动态调整图信息抽取策略
- SR 模块以多视角自反思与反推理提升结果准确与语义一致
- 在多项图推理任务上优于现有方法
Challenges in Automated Processing of Speech from Child Wearables: The Case of Voice Type Classifier（在新窗口打开）
总结三年 Voice Type 分类实验：架构与特征改进增益有限，数据相关性与规模更关键。
- 系统总结儿童可穿戴录音在 Voice Type 分类上的障碍
- 表明表示、架构、超参搜索仅带来边际提升
- 强调合规采集与可共享数据对进展的重要性
Kinship in Speech: Leveraging Linguistic Relatedness for Zero-Shot TTS in Indian Languages（在新窗口打开）
共享音素表示与目标语 phonotactics 文本规则，为零资源印度语生成可懂自然的零样本 TTS。
- 共享 phone 表示并调整文本解析规则以匹配目标语 phonotactics
- 降低合成器开销并借助跨语言亲缘快速适配
- 为梵语、孔卡尼、迈蒂利语等生成可懂自然语音并经评测验证
Improving Child Speech Recognition and Reading Mistake Detection by Using Prompts（在新窗口打开）
Whisper 与指令 LLM 提示提升荷兰儿童朗读 ASR（WER 5.1%）及朗读错误检测 F1（0.73）。
- 多模态方案结合音频与文本资源做朗读 aloud 评估
- 提示 Whisper 与 LLM 显著优于无提示 Whisper 基线
- 荷兰儿童朗读 WER 与 mistake detection F1 达 reported SOTA 水平
AI Knows Where You Are: Exposure, Bias, and Inference in Multimodal Geolocation with KoreaGEO（在新窗口打开）
发布韩国街景细粒度基准 KoreaGEO，系统评估 VLM 定位精度、空间偏见与多模态隐私暴露。
- 构建首个细粒度、多模态、隐私感知的韩国地理定位基准 KoreaGEO
- 设计图像、功能 caption、高风险 caption 三路径评测协议
- 揭示输入模态对精度与隐私的影响强于模型规模，并存在向核心城市偏置
Spatial Understanding from Videos: Structured Prompts Meet Simulation Data（在新窗口打开）
SpatialMind 结构化提示与 ScanForgeQA 仿真数据，在不改架构下增强预训练 VLM 的三维空间推理。
- SpatialMind 将复杂场景与问题分解为可解释推理步骤
- ScanForgeQA 从多样 3D 仿真场景自动构建可扩展 QA 微调数据
- 提示与微调策略在多基准上单独及联合有效
UniCUE: Unified Recognition and Generation Framework for Chinese Cued Speech Video-to-Speech Generation（在新窗口打开）
首个不依赖中间文本的直接 CSV2S 统一框架，用 CS 识别为生成提供视觉-语义 cues，并发布 UniCUE-HI 数据集。
- pose-aware 视觉处理、语义对齐池与 VisioPhonetic 适配器统一 CSR 与语音生成
- 构建含 11282 条视频、14 位 cue 者的 Mandarin 数据集 UniCUE-HI
- 多项指标上达到 state-of-the-art
A Data-Driven Diffusion-based Approach for Audio Deepfake Explanations（在新窗口打开）
以真/vocoded 配对音频时频差为监督训练扩散模型，定位 deepfake 伪迹并优于 SHAP、LRP。
- 利用配对真实与 vocoded 音频的时频表示差构造解释 ground truth
- 用扩散模型在给定 vocoded 音频上暴露 deepfake 伪迹区域
- 在 VocV4、LibriSeVoc 上定性定量优于传统可解释性方法
Vision-Language Models Mistake Head Orientation for Gaze Direction: Nonverbal Conversation Cues（在新窗口打开）
构建 1360 张受控场景图评测 VLM 注视推断，发现 VLM 主要依赖头朝向而非眼部外观。
- 设计控制头朝向的 gaze 评测刺激（1360 张真实场景照片）
- 量化 VLM 与人类差距并排除分辨率、命名等混淆因素
- 指出偏差主要来自数据；微调实验支持数据可缓解
Conformer-based Ultrasound-to-Speech Conversion（在新窗口打开）
Conformer（含 bi-LSTM）用于静默说话超声转语音，听感优于 2D-CNN，Base 版训练快约 3 倍。
- 在 Ultrasuite-Tal80 四说话人上训练 Conformer 说话人相关模型
- HiFi-GAN 将 mel 谱合成为波形并完成客观与 MUSHRA 评测
- bi-LSTM Conformer 感知质量更优，Base 与基线相当且架构更简单
HiFiTTS-2: A Large-Scale High Bandwidth Speech Dataset（在新窗口打开）
基于 LibriVox 构建约 36.7k 小时 22.05 kHz 语料及处理流水线，支持高质量零样本高带宽 TTS 训练。
- 提供带宽估计、切分、文本预处理与多说话人检测等数据处理流水线
- 附带 utterance 与有声书元数据，便于按质量筛选
- 实验表明该数据与流水线可支撑高质量零样本高带宽 TTS
Towards Source Attribution of Singing Voice Deepfake with Multimodal Foundation Models（在新窗口打开）
定义 SVDSA 任务，验证 MMFM 最有效，并以 COFFE 融合多基础模型取得最优声源归因。
- 引入歌唱语音 deepfake 声源归因 SVDSA 任务
- 实验表明 ImageBind、LanguageBind 等多模态基础模型优于语音/音乐专用 FM
- 提出以 Chernoff Distance 为损失的多 FM 融合框架 COFFE
Robustness in Both Domains: CLIP Needs a Robust Text Encoder（在新窗口打开）
LEAF 对 CLIP 文本编码器做高效对抗微调，提升文本域鲁棒性并改善 T2I 与检索在对抗噪声下的表现。
- 填补 CLIP 文本编码器对抗鲁棒性研究空白
- 提出可扩展至大规模 CLIP 的文本域对抗微调方法 LEAF
- 与鲁棒图像编码器组合，在 T2I 与多模态检索中验证收益
SNIFR : Boosting Fine-Grained Child Harmful Content Detection Through Audio-Visual Alignment with Cascaded Cross-Transformer（在新窗口打开）
SNIFR 用 Transformer 与级联跨模态对齐融合音视频，在细粒度儿童有害视频检测上达 SOTA。
- 将音频线索引入细粒度儿童有害内容检测以应对逐帧规避
- 提出 SNIFR：模态内 Transformer 编码 + 级联 cross-transformer 对齐
- 相对单模态与基线融合方法取得更优检测性能
没有符合条件的论文。