TASU: Text-Only Alignment for Speech Understanding（在新窗口打开）
仅用未配对文本数据做跨模态对齐，Speech LLM 零样本识别与 MMSU 等任务表现有竞争力。
- 提出 Text-only Alignment，降低对大规模音文配对与算力的依赖
- 零样本 ASR 并可作为课程学习预训练阶段增强域泛化
- 在 MMSU 等多语音理解任务上优于 GLM-4-Voice、Step-Audio 等
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-16 13:30
2025-11-06 周四共 8 篇：生成 1 · 代码生成 0 · 智能体 0 · 世界模型与具身 0 · 理解 4 · 音频 2 · 基础模型 1
- 生成
- 文生图 0图编辑 0视频生成 13D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0
- 世界模型与具身
- 世界模型 0具身智能 0
- 理解
- VLM 4OCR 0
- 音频
- 音频 2
- 基础模型
- LLM 0统一多模态 1
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 8 篇
QG-CoC: Question-Guided Chain-of-Captions for Large Multimodal Models（在新窗口打开）
提出零样本提示 QG-CoC，改善 MLLM 在多图场景下的细粒度感知与跨图推理。
- 系统分析现有 prompting 在多图任务中的感知与推理短板
- Question-Guided Chain-of-Captions 可处理任意数量图像
- 在多图与单图基准上对开源与闭源 MLLM 显示稳健提升
Principled Coarse-Grained Acceptance for Speculative Decoding in Speech（在新窗口打开）
在声学相似组层面验证草稿 token，提升语音 LLM 推测解码接受率与吞吐，并保持可懂度与说话人相似度。
- 提出 PCG：基于目标模型嵌入空间定义 ASG，做 overlap-aware 粗粒度分布与组级拒绝采样
- 在组级别保证 exactness，实践中可用草稿 token 代表组内可互换成员
- LibriTTS 上相对标准推测解码及既有语音松弛方法提高接受率与吞吐，音质指标保持
Assessing Identity Leakage in Talking Face Generation: Metrics and Evaluation Framework（在新窗口打开）
针对唇形受参考图泄漏问题，提出静默输入、错配音视频等三套评测与唇同步衍生指标。
- 系统化量化 lip leakage 的评测方法论
- lip-sync discrepancy 与静默音频唇同步等互补指标
- 分析身份参考选取对泄漏的影响，模型无关基准
Contamination Detection for VLMs using Multi-Modal Semantic Perturbation（在新窗口打开）
故意污染开源 VLM 后提出语义扰动检测法，污染模型在受控扰动下难以泛化。
- 指出现有 LLM/VLM 污染检测在视觉语言模型上失效或不稳
- 多模态语义扰动作为简单有效的污染检测手段
- 多种 realistic 污染策略下验证鲁棒性并开源代码与扰动数据
Node-Based Editing for Multimodal Generation of Text, Audio, Image, and Video（在新窗口打开）
节点图式叙事系统，支持对文本/图/音/视频节点的编辑、分支与迭代 refinement。
- 故事表示为可扩展编辑的多模态节点图
- 任务路由 Agent 协调故事生成、结构推理与上下文生成
- 展示节点编辑对叙事结构与多模态迭代生成的可控性
SWAP: Towards Copyright Auditing of Soft Prompts via Sequential Watermarking（在新窗口打开）
为 CLIP 类 soft prompt 设计 SWAP 序列水印，在更复杂 OOD 类别序空间中嵌入且不改主任务标签。
- 分析 prompt learning 下非侵入与侵入式审计失效原因
- SWAP 利用 CLIP 零样本能力在指定 OOD 类顺序中编码水印
- 假设检验验证协议与理论分析，11 数据集上证有效、无害与抗攻击
Towards Scalable Web Accessibility Audit with MLLMs as Copilots（在新窗口打开）
AAA 框架将 WCAG-EM 人机协作落地，含 GRASP 页面采样与 MaC 多模态审计辅助。
- GRASP 基于视觉、文本与关系嵌入的图采样保证页面代表性
- MaC 以 MLLM 支持跨模态推理与高负担审计任务
- 贡献四个基准数据集并验证微调小模型可作审计专家
没有符合条件的论文。