From Spatial to Actions: Grounding Vision-Language-Action Model in Spatial Foundation Priors（在新窗口打开）
FALCON 用空间基础模型生成 3D token 注入动作头，仿真与 11 项真实任务达 SOTA。
- 仅 RGB 即可注入强几何先验，可选融合深度/位姿且无需改架构重训
- 空间 token 由空间增强动作头消费，避免破坏视觉-语言对齐
- 在三套仿真基准与多项真实操作任务上稳定优于强基线
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-16 13:30
2025-10-21 周二共 17 篇：生成 0 · 代码生成 1 · 智能体 0 · 世界模型与具身 1 · 理解 7 · 音频 2 · 基础模型 6
- 生成
- 文生图 0图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 13D2Code 0
- 智能体
- GUI Agent 0
- 世界模型与具身
- 世界模型 0具身智能 1
- 理解
- VLM 7OCR 0
- 音频
- 音频 2
- 基础模型
- LLM 5统一多模态 1
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 17 篇
End-to-end Listen, Look, Speak and Act（在新窗口打开）
ELLSA 为首个全双工端到端模型，在统一 SA-MoE 架构下同时感知与生成视觉、文本、语音与动作。
- SA-MoE 按模态路由专家并经统一注意力融合
- 支持对话与动作轮替、边说边做、动作打断等全双工行为
- 在语音交互与机器人操作基准上匹配单模态基线
Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting（在新窗口打开）
Attention Shifting 在抑制遗忘知识的同时保语言能力，ToFU/TDEC 上兼顾效用与无幻觉遗忘。
- 提出上下文保持抑制与抗幻觉响应 shaping 两目标
- 重要性感知抑制与保留集注意力增强，双损失联合优化
- 在 ToFU、TDEC 上较 SOTA 遗忘方法更高保留精度且维持遗忘效果
PRISMM-Bench: A Benchmark of Peer-Review Grounded Multimodal Inconsistencies（在新窗口打开）
从真实审稿意见构建 384 条论文图文表公式不一致样本，评测 LMM 检测、修正与配对能力，领先模型仅约 28%–54%。
- 首个基于审稿人标注的真实科研论文多模态不一致性基准
- 不一致识别、补救与配对三项任务及 JSON 答案格式减轻选择题捷径
- 对 21 个主流 LMM 的系统评测揭示科学多模态推理仍很困难
VAGEN: Reinforcing World Model Reasoning for Multi-Turn VLM Agents（在新窗口打开）
用 RL 分解状态估计与转移建模并设计世界模型奖励，3B VLM 在五项智能体基准达 0.82。
- 将多轮 VLM 智能体形式化为 POMDP，验证五种视觉状态推理策略
- 提出 World Modeling Reward 与 Bi-Level GAE，实现逐轮稠密监督与信用分配
- 发布可扩展训练分析框架 VAGEN，小模型超越多款闭源推理模型
From Charts to Code: A Hierarchical Benchmark for Multimodal Models（在新窗口打开）
Chart2Code 分三级评测图表理解与出码，2023 任务上 SOTA 编辑任务代码分约 0.57。
- 三级任务：图表复现、复杂编辑、长表转图表，22 类图表共 2023 项
- 代码正确性与渲染视觉保真多级评测指标
- 对 25 个 SOTA LMM 系统评测，揭示 Chart2Code 难度
DTKG: Dual-Track Knowledge Graph-Verified Reasoning Framework for Multi-Hop QA（在新窗口打开）
提出双轨知识图谱验证推理框架 DTKG，区分并行事实验证与链式多跳，分别适配 LLM 验证与 KG 路径推理。
- 将多跳推理分为并行事实验证与链式推理两类
- 双过程启发的分类阶段与分支处理阶段框架
- 缓解单一 KG 路径或单一 LLM 验证在两类任务上的效率与精度短板
Enhancing Compositional Reasoning in CLIP via Reconstruction and Alignment of Text Descriptions（在新窗口打开）
READ 在对比学习外增加 token 级重建与句级 paraphrase 对齐，READ-CLIP 在五个组合推理基准上 SOTA。
- token 级重建目标促使编码器捕捉词间关系
- 句级对齐使 paraphrase 在嵌入空间一致
- 应用于 CLIP 及 NegCLIP、FSC-CLIP 等变体均有效
Schrödinger Bridge Mamba for One-Step Speech Enhancement（在新窗口打开）
SBM 结合 Schrödinger Bridge 训练与 Mamba，单步推理在联合去噪去混响上优于强生成与判别方法并利于流式。
- 将 SB 轨迹训练与 Mamba 结合实现高效单步语音增强
- SB 范式在多种骨干上 consistently 优于常规映射训练
- 在 SB 设定下 Mamba 优于 MHSA 与 LSTM 骨干
DAG-Math: Graph-of-Thought Guided Mathematical Reasoning in LLMs（在新窗口打开）
用 DAG 随机过程建模 CoT，提出 logical closeness 与 DAG-MATH 基准，揭示答案准确率与规则一致推导之间的差距。
- 将 CoT 形式化为 DAG 上基于规则的随机过程
- 提出 logical closeness，在 PASS@k 之外评估推理轨迹与 DAG 的符合度
- 构建 DAG-MATH 格式与基准，发现 PASS@k 相近时各模型族推理 fidelity 仍有显著差异
Probing the Hidden Talent of ASR Foundation Models for L2 English Oral Assessment（在新窗口打开）
从 Whisper 中间表示提取声学与语言特征，轻量分类头在 GEPT 图片描述任务上优于含多模态的强基线。
- 探针 Whisper 隐层而非仅用转写文本做 L2 口语评测
- 图像与文本提示作为辅助线索可进一步提升表现
- 分析表明 Whisper 嵌入内含熟练度序数与语义信息
SceneCOT: Eliciting Grounded Chain-of-Thought Reasoning in 3D Scenes（在新窗口打开）
提出三维 grounded CoT 与 SCENECOT-185K 数据集，在多类复杂 3D 场景推理基准上实现高 grounding-QA 一致性。
- 将复杂 3D 推理分解为子问题并构建对应视觉线索
- 首个大规模 grounded CoT 三维场景推理数据集
- 首次在 3D 场景理解中成功应用 step-by-step CoT
SimBench: Benchmarking the Ability of Large Language Models to Simulate Human Behaviors（在新窗口打开）
统一 20 数据集的首个大规模 LLM 人类行为模拟基准，最佳模型约 40.80/100。
- 构建可复现的 SimBench，覆盖道德、经济等多类行为任务
- 揭示对齐-模拟权衡及人口群体模拟难点，能力与 MMLU-Pro 强相关
- 分析模型规模与推理算力对模拟保真度的影响规律
CrossGuard: Safeguarding MLLMs against Joint-Modal Implicit Malicious Attacks（在新窗口打开）
ImpForge 生成隐式攻击数据，CrossGuard 意图感知防护，显隐式威胁下安全与效用兼顾。
- RL 红队流水线 ImpForge 在 14 域生成多样隐式恶意样本
- CrossGuard 意图感知 safeguard，覆盖显式与联合模态隐式攻击
- 多基准与 OOD 设置上优于现有 MLLM 防护与 guardrail
Multilingual Text-to-Image Person Retrieval via Bidirectional Relation Reasoning and Aligning（在新窗口打开）
提出多语言 TIPR 基准与 Bi-IRRA，双向隐式关系推理对齐图文，全数据集 SOTA。
- 首创多语言 TIPR 任务与基准，LLM 初译并结合领域知识 refine
- Bi-IRRA 双向掩码预测隐式建模跨语言跨模态局部关系
- 多维全局对齐模块缓解模态异质性
QSVD: Efficient Low-rank Approximation for Unified Query-Key-Value Weight Compression in Low-Precision Vision-Language Models（在新窗口打开）
对 VLM 的 Q/K/V 联合做 SVD 与动态秩分配，并量化权重与激活，在更低硬件成本下较纯量化或纯 SVD 提升超过 10% 精度。
- 对 Q、K、V 权重矩阵联合 SVD 以缩小 KV cache 与计算开销
- 按对 VLM 精度影响动态分配 SVD 秩
- 权重与激活量化结合，优于仅量化或仅 SVD 的部署方案
PLAGUE: Plug-and-play framework for Lifelong Adaptive Generation of Multi-turn Exploits（在新窗口打开）
提出多轮越狱攻击框架 PLAGUE，分 Primer/Planner/Finisher 三阶段，在相当或更少查询下 ASR 提升超 30%。
- 将多轮攻击生命周期拆为三阶段，系统化探索多轮攻击族
- 即插即用框架，借鉴终身学习智能体设计 red-teaming agent
- 在 o3、Opus 4.1 等强防护模型上取得高 ASR，用于漏洞评估
没有符合条件的论文。