CoRE-VLA: Towards Scalable and Robust Vision-Language-Action Modeling via Conditional Routing of Experts（在新窗口打开）
按传感器可用性与任务意图稀疏路由专家，缺失深度等模态时 VLA 仍可部署。
- 将动作生成建模为上下文条件的稀疏计算，传感器门控模态专家
- 任务意图路由动作侧表示，提升多任务与长程子目标专化
- 在 LIBERO、RoboCasa 与真机双臂上优于稠密基线与强预训练 VLA
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-16 13:30
2026-07-07 周二共 30 篇：生成 6 · 代码生成 0 · 智能体 0 · 世界模型与具身 3 · 理解 10 · 音频 5 · 基础模型 6
- 生成
- 文生图 3图编辑 0视频生成 33D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0
- 世界模型与具身
- 世界模型 1具身智能 2
- 理解
- VLM 10OCR 0
- 音频
- 音频 5
- 基础模型
- LLM 5统一多模态 1
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 30 篇
Transferability Between Understanding and Generation in Unified Multimodal Models（在新窗口打开）
系统研究 UMM 跨任务能力迁移：共享骨干时理解训练可提升生成且减轻分布偏移。
- 定义并实证 UMM 的 transferability 及其对架构（共享骨干 vs 松耦合）的依赖
- 提出先训理解再迁移到生成，改善计数、空间关系、文字等生成能力
- 在三类能力上验证：直接训生成易损画质，理解侧训练更稳
PixelPilot: Scalable Vision-Language-Action Models for End-to-End Autonomous Driving（在新窗口打开）
提出解耦规划与升维的 VLA，在图像平面做可扩展 2D 规划并用 GRPO 强化视觉到规划因果链。
- 规划与 3D 升维解耦，将理解与轨迹预测改为与传感器无关的 2D 任务
- 知识注入策略学习，用 GRPO 施加稠密中间奖励约束感知到规划
- 开环与闭环实验达到 SOTA，验证可扩展性与视觉推理
Reward Lightning: Fast Video Generation via Homologous Preference Distillation（在新窗口打开）
latent 奖励模型与同源 HPD 在同一表示上联合对齐与蒸馏，1–4 步生成高保真视频。
- 提出 latent reward model，在 latent 空间直接打分视频
- 同调偏好蒸馏在同一 backbone 上对抗蒸馏与偏好对齐，缓解梯度冲突
- LRM 偏好准确率优于 pixel/latent 奖励基线，少步生成 VBench 等指标提升
RADIANCE: Relative Adaptive Denoising with IP-Adapter for Novel Concept Enhancement（在新窗口打开）
训练-free 闭环框架，用 CLIP 监控组合相似度并通过 IP-Adapter 双向尺度 rebalance 稀有概念生成。
- CSM、BSC、FGS 三模块在推理中闭环反馈 rebalance 去噪轨迹
- DAA 与 LAG 扩展多对象提示，缓解过早概念融合
- RareBench 与 T2I-CompBench 上提升组合对齐与感知质量
MV-Forcing: Long Multi-View Video Generation via 4D-Grounded Spatio-Temporal Self-Forcing（在新窗口打开）
用 4D 几何桥接融合时序与视角自回归，单模型生成任意长度与视角数的一致多视角动态视频。
- 在单一扩散模型中组合时序与视角自回归，并以 3D 重建渲染下一视角几何先验
- 联合去噪训练与 Spatio-Temporal Self-Forcing 蒸馏缓解时序与视角暴露偏差
- 合成与真实数据上实现几何一致的长多视角动态场景视频
Evaluating LLM Uncertainty in Long-Form Generation Using Deterministic Ground Truth（在新窗口打开）
SALT 基准提供程序生成的确定性长答案，支持 token 到全文粒度的不确定性评测。
- 提出 SALT：六项任务、单一确定性长文本真值，可无外部评判做单元级评估
- 分析 50+ LLM 的置信度函数与原子分辨率下排序失效等现象
- 揭示前缀错误传播、上下文长度与 CoT/推理训练对校准的权衡
DELTA-TTS: Adapting Autoregressive Model into Diffusion Language Model for Text-to-Speech（在新窗口打开）
LoRA 将 AR TTS 转为离散扩散语言模型，置信度顺序解码，更快且减轻幻觉。
- 提出 DELTA-TTS：轻量 LoRA 把预训练 AR TTS 适配为 dLLM
- 卷积注入局部声学上下文，配合 1/t 目标与时间偏移推理
- LibriTTS 585 小时训练，Seed-TTS-en 上优于 AR 骨干且解码约 3.3 倍加速
Learning Structured Visual Compositional Representations for Weakly Supervised Referring Expression Comprehension（在新窗口打开）
为 WREC 显式建模一元对象与二元关系嵌入，并用组合对齐机制做弱监督视觉-文本匹配。
- 提出 SVCR，构建含一元与二元关系的结构化视觉表示空间
- 组合对齐机制统一匹配视觉与文本的一元、二元嵌入
- 在 RefCOCO 系列数据集上达到 SOTA
AgentGym2: Benchmarking Large Language Model Agents in De-Idealized Real-World Environments（在新窗口打开）
提出贴近真实端到端需求的 Agent 评测框架，考察工具探索与噪声鲁棒性，SOTA 仍明显吃力。
- 构建 AgentGym2，任务基于真实端到端工作流而非理想化工具接口
- 评测端到端执行、探索发现工具、组合未见任务与噪声欠规格输入
- 在 15 个模型上实验，揭示当前 Agent 与真实部署需求间的差距
Deform360: A Massive Multi-view Visuotactile Dataset for Deformable World Models（在新窗口打开）
发布 Deform360 大规模视触觉交互数据，系统对比 2D 与 3D 世界模型并做可变形物体规划演示。
- Deform360：198 物体、1980 序列、215+ 小时、41 环绕相机与双触觉夹爪观测
- 无 marker 视触觉 3D 跟踪流水线提取稠密几何与运动
- 评估 SOTA 世界模型并初步展示可变形物体上的机器人规划
RADIO1D: Elastic Representations for Condensed Vision Modeling（在新窗口打开）
将图像压缩为可变长一维 token 序列，供 VLM 在精度与算力间灵活权衡。
- 发现 VLM 微调后视觉表示更抽象，SigLIP2 等出现少量全局摘要 token
- 提出 RADIO1D：多教师蒸馏与自编码器实现紧凑一维 token
- 在多模态基准上以更低计算量取得有竞争力的表现
Noisy Environment Adaptation of Neural Speech Codec via Focal Mask and Noise Feature Separation（在新窗口打开）
FocalSE 在神经语音 codec 连续嵌入空间做去噪、噪声分离与噪声类别识别，低码率低 SNR 下优于 SOTA。
- 提出 FocalSE：在 codec 嵌入空间联合特征去噪与噪声特征分离
- focal modulation 编解码生成 focal mask 恢复干净嵌入，ResNet1D-18 识别噪声类别
- LibriTTS 与 ESC50 上验证低码率、低 SNR 场景优于现有方法
Spinning Straw into Gold: Relabeling LLM Agent Trajectories in Hindsight for Successful Demonstrations（在新窗口打开）
HSL 用辅助 LLM 回顾轨迹并重标注实际达成目标，配合掩码与重加权改进 SFT/DPO，ALFWorld 仅用四分之一示范超基线。
- 提出 Hindsight Supervised Learning，挖掘 rollout 中无意但成功的目标作监督
- irrelevant-action masking 与 sample reweighting 缓解重标注次优
- 与 SFT/DPO 兼容，长视野多目标任务增益更大，样本效率显著提升
From Open Loop to Closed Loop: A Test-Time Iterative Optimization Framework for Reference-Consistent Image Generation（在新窗口打开）
将参考一致生成建模为闭环跟踪，用改进 PID 在测试时迭代优化 latent 控制信号，无需训练。
- 测试时闭环框架，用传感器-控制器结构感知生成与参考差异并修正
- 训练无关、模型无关，可嵌入现有扩散流水线
- 在身份保持、姿态与深度控制任务上相对开环基线有多项指标提升
Ranking the Impact of Contextual Specialization in Neural Speech Enhancement（在新窗口打开）
系统比较多种上下文特化，发现说话人身份特化收益最大，小模型特化后可匹敌大十倍通用模型。
- 覆盖极小到大参数量语音增强模型的上下文特化对比
- 说话人身份特化对可懂度与质量提升最稳定
- 跨语言实验表明目标语言特化优于多语言通用模型
PORTS: Preference-Optimized Retrievers for Tool Selection with Large Language Models（在新窗口打开）
用冻结 LLM 的偏好信号对齐检索器与工具调用表现，显著提升工具选择准确率。
- 提出 PORTS：基于 odds ratio 的偏好优化训练工具选择检索器
- 用 perplexity 式偏好信号关联选择概率与下游表现，并加文档语义对比损失
- 六数据集、两 encoder、三 LLM 上验证，低算力且易泛化到新查询与工具
Token-Based Affordance Grounding with Large Vision-Language Models（在新窗口打开）
利用 LVLM 输出 token 的空间注意力做零样本 affordance 定位，弱监督基线上显著提升。
- 提出 TokAG，从 LVLM token 语义-空间信号得到零样本 affordance 热图
- 设计空间感知 token 选择，筛出目标物体主导的注意图
- 在 AGD20K、HICO-IIF 等基准上优于既有弱监督方法
HCSU: A Dataset and Benchmark for Fine-Grained Historical Calligraphy Style Understanding（在新窗口打开）
首发书法风格理解数据集 HCSU，解耦帖本与碑拓并分层美学标注，揭示 LVLM 视觉 grounding 不足。
- 构建 HCSU：49 位书家、10 朝代共 39,307 字图，分离 Tie 与 Bei
- 提供层次化专家美学描述及风格判别与可解释美学推理两类评测
- 系统评估 SOTA LVLM，暴露知识 vs 细粒度笔迹视觉推理的鸿沟
FormalRx: Rectify and eXamine Semantic Failures in Autoformalization（在新窗口打开）
提出含 28 类 SCI 错误 taxonomy 的诊断评测框架，并发布 FormalRx-8B 与细粒度基准 FormalRx-Test。
- SCI Error Taxonomy 将 autoformalization 错误分层细分为 28 类
- 提供判决、分类、定位与修正四类诊断能力
- FormalRx-8B 在 verdict/categorization 等任务上显著优于通用与专用基线
Geometric Reciprocity: Unlocking Self-Supervision for Stereoscopic Video Generation（在新窗口打开）
提出几何互惠定理，从单目视频自监督学习立体视差补全，优于无训练与有监督方法。
- 提出 GRT：最近邻 DIBR 下遮挡 mask 可解析计算，保证 train-test 一致
- 首个基于 cycle consistency、仅用单目视频的自监督立体生成框架
- 相对 training-free 与 supervised SOTA 取得显著提升
RoboVista: Evaluating Vision Language Models for Diverse Robot Applications（在新窗口打开）
提出模块化 RQA 框架与 RoboVista 基准，474 条 VQA 覆盖多领域机器人任务，揭示 SOTA VLM 差距并与真实执行相关。
- 提出 Robot Question Answering 模块化评测框架
- RoboVista 含 474 实例、39 任务类型，覆盖农业/工业/家庭/手术/自动驾驶等
- 真机实验显示 RoboVista 分数与真实任务执行强相关
SiGMA: Sign-Guided Merging and Adaptation for Multimodal Continual Instruction Tuning（在新窗口打开）
符号引导训练适配与推理合并，减轻 MCIT 负干扰与遗忘，在 UCIT/DCL 上优于现有方法。
- SiGMA 框架：训练期 sign guided adaptive tuning 与推理期 sign guided merging
- 减少新任务更新与旧知识碰撞，缓解灾难性遗忘与推理负干扰
- 在 UCIT 与 DCL 基准上显著降低负干扰并超越 SOTA MCIT 方法
Solve the Missing First Step: Can VLMs Standardize Raw Heterogeneous Medical Data?（在新窗口打开）
定义原始医疗数据标准化任务并构建 MDS-Bench，显示最强 VLM 端到端成功率仅约 48.6%。
- 研究临床实践中 VLM 应用前缺失的原始数据标准化环节
- 发布含 1939 项人工标注任务的 MDS-Bench
- 实验表明标准化是医疗 AI 落地的重要瓶颈
Q-TriM: Question-Guided Tri-Modal Attention for Audio-Visual Question Answering（在新窗口打开）
浅层并行三模态注意力融合文本、视频与音频，减轻深层堆叠带来的误差累积。
- 提出 Q-TriM：文本条件下的视频-音频注意力与 Tri-Modal Q/K/V 表示
- 单阶段并行融合，替代深层顺序 cross-attention 堆叠
- 在三个 AVQA 基准达 SOTA，MUSIC-AVQA-R 上增益显著
CritiqueDriveVLM: From Verifier-Guided Reinforcement Learning to Latent Thought Distillation for Autonomous Driving（在新窗口打开）
三阶段框架把驾驶推理内化进 VLM：多轮 RL 教师与潜思维蒸馏学生，DriveLMM-01 上 MCQ 达 76.54% 且延迟大降。
- Critique 驱动多轮 RL，用多维验证器标量反馈内化 System-2 教师
- Latent Thought Distillation 对齐潜表示，得到无 CoT 的低延迟 System-1 学生
- DriveLMM-01 上 MCQ 由 55.54% 提升至 76.54%，平均生成长度约 28 token
Towards Language-Agnostic Speech Inversion（在新窗口打开）
联合估计声道变量与声源参数，在未见法语、俄语上仍取得较高与真值的相关性。
- 在共录美式英语音频与 articulatory 数据上训练 SI 系统
- 同时估计 oral tract variables 与三类声源信息参数
- 未训练语言上 oral tract 与声源估计 Pearson 相关达 0.83/0.74 量级
Global Logic and Local Search: Dual-Stream Multimodal In-Context Learning for Verifiable Industrial Anomaly Detection（在新窗口打开）
免训练框架用参考图与规格做 multimodal in-context 核验，决策可追溯到局部视觉证据。
- 提出 GLLS：Part-Aware Visual-Logical Atlas 组织正常参考与结构化规格
- 全局逻辑流结合 SAM 3，细粒度动作流用 MCTS 在预算内选局部 crop
- 在 MMAD-QA 等工业异常检测数据上稳定优于匹配基线
Towards Digital Preservation of Efik: TTS for a Low-Resource African Language（在新窗口打开）
首个 Efik 端到端 TTS 研究：约 3 小时语料与四模型对比，MMS-TTS MOS 最高但声调错误仍存。
- 发布 Efik 单说话人语料：2,632 句、约三小时
- 低资源下比较 VITS、MMS-TTS、SpeechT5、Orpheus-TTS 及 MOS 系列主观评
- 给出可复现基线，强调更大语料与声调建模对非洲声调语言的重要性
DICT: Data Injection and Contrastive Trajectory Refinement for Conditional Image Generation with Diffusion Models（在新窗口打开）
免训练推理框架：早期注入条件信号并对比相邻去噪步，统一提升多种条件生成任务。
- Data Injection 在早期去噪阶段融合扰动条件并蒸馏任务显著信息
- Contrastive Trajectory Refinement 在相邻状态间 pairwise 提升样本质量
- 在风格迁移、超分、去模糊等条件生成任务上一致优于任务专用与 loss guidance 基线
没有符合条件的论文。