Why is Your Language Model a Poor Implicit Reward Model?（在新窗口打开）
分析隐式与显式奖励模型泛化差距，发现 IM-RM 更依赖表层 token 线索导致 OOD 更差。
- 从理论与实验揭示 IM-RM 相对 EX-RM 泛化不足的主因
- 指出 IM-RM 在 token 级分布偏移下更易失效
- 反驳“生成难于验证”等关于泛化差距的替代解释
前沿论文
17 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-20 18:44
返回聚合视图2025-07-11 周五共 7 篇：生成 0 · 代码生成 0 · 智能体 0 · 世界模型与具身 0 · 理解 5 · 音频 0 · 多语 1 · 基础模型 1
- 生成
- 文生图 0图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0代码 Agent 0工具调用 0
- 世界模型与具身
- 世界模型 0具身智能 0
- 理解
- VLM 5OCR 0
- 音频
- 音频 0
- 多语
- 多语言与翻译 1
- 基础模型
- LLM 1统一多模态 0
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 7 篇
ViLU: Learning Vision-Language Uncertainties for Failure Prediction（在新窗口打开）
提出 ViLU，融合视觉、预测文本与图像条件文本表示，事后估计 VLM 预测是否可靠。
- 构建融合 cross-attention 的不确定性感知多模态表示
- 以二分类不确定性预测器训练，不依赖任务损失，适配 post-hoc
- 在分类与大规模图文数据上优于现有失败预测方法
Scaling RL to Long Videos（在新窗口打开）
发布 LongVideo-Reason 与 MR-SP 基础设施，CoT-SFT+RL 训练 LongVILA-R1 做长视频推理。
- 构建 104K 长视频 QA 与推理标注数据集 LongVideo-Reason
- 两阶段 CoT 监督微调与 RL，推出 LongVILA-R1-7B 等长视频 VLM
- MR-SP 序列并行与 vLLM 引擎支持长视频 RL 训练加速
Single-to-mix Modality Alignment with Multimodal Large Language Model for Document Image Machine Translation（在新窗口打开）
提出 M4Doc，用 MLLM 对齐图像编码器，训练轻量 DIMT 并在推理时脱离 MLLM 保效率。
- 提出单到混合模态对齐框架 M4Doc，借助预训练 MLLM 学视觉—文本关联
- 推理阶段绕过 MLLM，在效率与多模态知识之间取得平衡
- 在跨域与困难文档图像场景上显著提升翻译质量
Response Wide Shut? Surprising Observations in Basic Vision Language Model Capabilities（在新窗口打开）
设计探针任务对比 VLM 与视觉编码器/投影/解码器探针，剖析 SOTA VLM 基础视觉能力短板。
- 构建超越现有基准的基础视觉能力探测测试
- 对比 VLM 输出与各层特征上直接训练探针的表现
- 总结 VLM 能力、鲁棒性与视觉信息处理方式的观察
Rationale-Enhanced Decoding for Multi-modal Chain-of-Thought（在新窗口打开）
提出 RED 推理解码，联合图像条件与 rationale 条件分布，缓解 CoT 中被忽视的中间理由。
- 将多模态 CoT 表述为 rationale 条件对数似然的 KL 约束奖励最大化
- 提出即插即用 RED，乘性融合图像与 rationale 的下一 token 分布
- 在多基准与多种 LVLM 上稳定提升 CoT 推理表现
StarDojo: Benchmarking Open-Ended Behaviors of Agentic Multimodal LLMs in Production-Living Simulations with Stardew Valley（在新窗口打开）
提出 StarDojo 基准，在星露谷模拟中同时评测 MLLM 智能体的生产活动与社交等开放任务。
- 基于 Stardew Valley 构建含千级任务的生产—生活开放场景基准
- 提供跨平台统一接口，便于并行评测多模态基础智能体
- 对主流 MLLM 智能体系统评测并分析视觉与推理等瓶颈
没有符合条件的论文。