🧾OCRP1 顶会NeurIPS 2026
发布页级统一解析数据集 RPD,要求框、标签、阅读序、文本与视觉 alt 描述;空间感知增强器提升联合表现。
- 构建 RPD:连续页上布局元素有序列表含 OCR 与视觉元素替代文本描述
- 提出即插即用 space-awareness enhancer 注入网格空间引导至 VLM token
- 显示现有系统难同时恢复阅读序与视觉语义,增强模型联合指标更强
💬LLMP1 顶会NeurIPS 2026
用极值理论刻画正确与错误响应奖励尾竞争,解释单调增益与 reward hacking 退化。
- 将 Best-of-N 视为正确/错误极端奖励尾竞争并划分三种渐近 regime
- 推导有限样本 scaling laws,不完整选择器下收敛可为多项式而非指数
- 提出轻量 tail-tension 准则估计继续采样何时有害
🎧音频P1 顶会NeurIPS 2026
FLARE 以 Whisper 蒸馏与脸唇双流预训练视觉语音编码,在多数据集唇读 WER 领先且更抗分辨率与头姿变化。
- Whisper 随机投影量化作教师,掩码预测预训练视觉语音表示
- 唇 ROI 与全脸双流互补,模态 dropout 强化视觉-only 鲁棒性
- 接 Transformer 或 LLM 解码器下游唇读,组件消融验证各模块贡献
🦾具身智能P1 顶会CoRL 2026 · 清华大学
GR-BC 在演示与干预 rollout 上建目标可达性图并对动作块后果加权,离线迭代后 VLA 精细操作成功率可达 91%。
- 离线迭代框架:任务条件图 + 反向搜索估计剩余步数并加权动作块
- 复用失败轨迹可恢复段与人类干预路径,抑制成功轨迹中的局部倒退段
- 四类精细操作、三种 VLA 骨干上优于单轮 SFT,无需轨迹对比或进度标签
💬LLMP1 顶会NeurIPS 2026 · Microsoft
ProD 检测并惩罚蒸馏轨迹中的 progress stagnation,提升 SLM Agent 成功率与效率。
- 系统分析长交互链上蒸馏学生 Agent 普遍陷入无效循环的停滞现象
- 将师生停滞差距编码为自适应 margin 动态惩罚停滞
- 多规模 SLM 与域内外基准上缓解停滞并提高成功率与完成效率
🎬视频生成P1 顶会NeurIPS 2026
将 T2V 物理合理性评测转为可验证的场景级二值问答,并用 VLM 法官分层聚合得分。
- 构建 PhyMetric:1115 场景、50 类物理现象与 8920 道平衡二值题
- 每场景配结构化物理先验与八条靶向问题,替代单一笼统合理性查询
- 在四款开源 T2V 与三款 VLM 法官上验证场景级 QA 对可解释诊断的关键性
🎧音频P1 顶会INTERSPEECH 2026
揭示 SER 与 Audio LLM 在音文冲突下的语义偏置,提出 ASPIRE 基准与 ACR-Net 解耦对抗表示。
- 发布 ASPIRE 四类对抗音文对基准及 SOP、LDD 指标
- 提出 ACR-Net:跨模态注意力与对比解耦损失分离矛盾表示
- 在极性冲突下降低语义过度自信并保持声学识别表现
🦾具身智能P1 顶会CoRL 2026
驾驶 VLA 显式预测三级导航合规模式,并用严格跟随导航信号的世界模型想象辅助冲突判断,提升语言导航闭环表现。
- 提出同时评测导航跟随、冲突感知与对抗鲁棒的 benchmark 套件
- 三档合规模式解耦冲突推理与动作生成;导航条件 world model dreaming 展示跟指令是否安全
- Bench2Drive 上提升 DS/SR 与语言跟随,不安全指令下碰撞少于最强 SimLingo 变体
🌍世界模型P3 顶级机构NVIDIA
统一条件生成框架融合重建与生成式 LiDAR 仿真,单卡 H100 实时 11 FPS 长时 rollout。
- 通用 tokenizer 与双向 teacher,统一前缀、HD-Map、空间缓存与文本条件
- 蒸馏为四步自回归 student,结合时序 K/V 与世界对齐空间缓存
- 同一模型可新世界生成、点云预测与免 per-scene 优化的 resimulation
🎬视频生成P3 顶级机构Google DeepMind
提出 SMART 恒定容量 slot 记忆,按相机几何寻址读写,支撑超长轨迹高保真回忆生成。
- SMART 以观测/渲染相机寻址写入与读取,无需显式 3D 或增长缓存
- 读取置信度调制 chunk-causal 扩散 Transformer 对检索内容的信任
- Memory Maze 与 Minecraft 长轨迹上超越训练 horizon 仍保持高保真回忆
🦾具身智能P3 顶级机构NVIDIA · MIT · CMU
联合编码任务、执行阶段与未来动作续段的 VLA 嵌入,检索驱动 ICL 与任务局部记忆演化显著提升操作成功率。
- 首个 VLA 嵌入同时编码三模态查询与历史未来续段并对齐预测检索
- Robota-Embed-Bench 与多源清洗锚点语料,检索显著优于无动作嵌入基线
- Embed2ICL 与 Embed2Evolve 在仿真与真机提升成功率并减少策略 token
💬LLMP3 顶级机构清华大学
HP-RLVR 用已完成轨迹的 hindsight 上下文为 token 分配更新权重,单次 rollout 训练较 GRPO 更快且 rollout 更少。
- 提出单次 rollout 的 HP-RLVR,用因果与 hindsight 分布的 JSD 做 token 级 credit
- 无需参考解、学习 critic 或每组多次采样
- 在数学、代码与 ALFWorld 上相较 GRPO 显著加速,整体精度相当
🌍世界模型P3 顶级机构Stanford
离线学 liveness 与潜变量世界模型,部署监测进度丢失并短视界规划纠错,提升名义 visuomotor 策略成功率。
- 有限标注 rollout 学策略条件 liveness 与紧凑潜空间世界模型
- 部署黑盒查询:liveness 触发世界模型短视界纠正后交还名义策略
- LIBERO-Goal 与 Franka 上 π₀.₅ 与 diffusion 策略成功率显著提升
🦾具身智能P3 顶级机构清华大学 · Stanford
用预测的交互区域裁剪高分辨率局部视图,替代腕相机并提升 π₀.₅ 操作成功率。
- 在每块动作预测同时输出下一查询需观察的 foveation 区域
- 基于 π₀.₅ 构建 Single/Dual 外置 RGB-D 全图加注视输入两种配置
- 在 DROID 后训练后,四套真实任务上显著优于腕相机基线,尤其干扰与远距场景
🌍世界模型P3 顶级机构NVIDIA
Transformer 预测确定性下一状态与空间不确定性图,引导扩散在不确定区域采样未来帧。
- 联合回归确定性下一状态与异方差 aleatoric 不确定性空间图
- 不确定性图作为条件扩散的结构化门控,分离 drift 与 diffusion
- 在机器人桌面操作与相机运动两类动作空间上优于强基线
🎨文生图P3 顶级机构北京大学
目标字条件下的中文渲染验证器与逐字基准,显著优于 OCR/VLM,并可作 Flow-GRPO 奖励减少 T2I 错字。
- 形式化渲染验证:给定目标字与 crop 判断是否正确渲染
- 文本塔输入 IDS,大规模 crop-IDS 与 inpainting 轨迹硬负样本训练
- TEXTRENDERBENCH-ZH 逐字评测,验证分可作后训练奖励纠错
🦾具身智能P3 顶级机构清华大学 · 北京大学
诊断长程移动操作规划、导航与局部操作瓶颈,agentic 干预将 RoboCasa365 等任务成功率从约 19% 提升至近 49%。
- 揭示原子 VLA 组合成长程移动操作时成功率骤降的三类主导失败
- 演示规划、自适应视觉记忆、可达性基座与末端调整的失败引导干预
- RoboCasa365、BEHAVIOR-1K 与真机验证针对瓶颈干预优于单纯放大策略
🌍世界模型P3 顶级机构Microsoft
将可更新的抽象状态与视觉生成分离,用语言模型与视频扩散协同演化长交互世界。
- 提出持久可更新抽象状态 conditioning 当前视觉观测的范式
- StateCraft 架构配对语言模型与视频扩散模型演化动态世界
- 构建生成式界面基准与无人工监督的数据管线,并支持直接编辑未观测状态
🌍世界模型P3 顶级机构MIT
残差世界模型校正执行器动力学,仅用本体感知对齐接触力,提升人形策略实机力控与迁移。
- 提出 Contact-UAN 残差世界模型,保留仿真物理先验并修正执行器动力学
- 仅用 onboard 本体感知推断仿真站姿足位,实现接触一致回放
- 6.5 分钟行走数据训练即可泛化,实机扭矩与力跟踪误差显著降低
💬LLMP3 顶级机构UC Berkeley
用验证器诊断与完整性审计构造奖励,多轮 Agent RL 显著提升形式化代码验证通过率。
- 奖励基于验证器诊断与隐藏探针,而非仅接受/拒绝二元信号
- 完整性审计优先于验证器,防止篡改规约或 assume 待证命题
- 与冻结证明专家协作的多轮 Agent 环境,优于二元 pass/fail 奖励
🎧音频P3 顶级机构NVIDIA
控制实验表明 LALM 后训练提升多来自题型与文本线索,而非可泛化的音频理解与推理。
- 设计实验解耦音频理解提升与选择题等题型适应
- 无有效音频时仍保留大量报告提升,改题型则 largely 消失
- 后训练常学任务特定文本线索与答题模式,非泛化音频能力
🦾具身智能P3 顶级机构北京大学 · UC Berkeley
提出统一仿真协议下的六轴腕力集成基准,系统比较多种力觉融合设计。
- 构建含八类任务、1600 条同步示教与统一成功准则的 ForceBench
- 在共享 π₀.₅ 骨干上对比无力基线与六种力集成设计
- 仿真与真实实验表明 Prompt Fusion 等设计可提升操作成功率
🖥️GUI AgentP3 顶级机构北京大学
提出以可编辑任务契约为核心的 TaskVM,独立观测验证并标注动作可逆性,强化合规与用户恢复信任。
- 提出任务状态治理范式,联结目标、须保持事实与观测应用状态
- 实现 TaskVM:状态投影为可编辑控件、编辑即真实界面操作并验证结果
- 在契约基准、用户研究与 live 探索中提升合规与恢复控制且结果相当
💬LLMP3 顶级机构北京大学
探针将隐状态映射到词表空间,审计行为同等安全但训练史不同的模型内部危害概念可及性。
- DANGERLENS 区分有害目标/手段与危害识别及安全控制
- 有害预训练暴露经相同对齐后仍保留更高危害概念可及性,中后层分离最强
- 动机在输出安全评测外增加内部可及性审计
💬LLMP3 顶级机构CMU
MFT 多智能体道德化重写有害请求并生成先例,多模型 jailbreak 率高,并揭示安全基准道德基础覆盖失衡。
- 诊断违规道德基础并改写为正当框架下的同类请求
- 三大 jailbreak 数据集上评估五种模型,单次与重复尝试均高成功率
- 安全评测集中在模型已有偏置的道德基础上,存在失衡
💬LLMP3 顶级机构清华大学
提出动作级 on-policy 蒸馏,在不需教师 token 概率下对齐 Agent 语义决策。
- 以语义动作为监督单元,在学生遭遇状态上最大化教师动作似然动机
- 通过师生动作语义一致奖励进行策略优化,无需复现教师推理链
- 在工具使用任务上训练 Qwen3 系列,多个 OOD 基准平均提升并支持跨族教师
💬LLMP3 顶级机构MIT
后训练为注意力 LLM 加入分层神经记忆与测试时更新,提升长上下文精度并加速推理。
- 块级注意力掩码:近端全精度注意力,历史压缩为固定大小 NMM
- 可在不从头训练前提下替换预训练注意力层
- Llama-3.2-1B 上 QuALITY、LongHealth 准确率大幅提升,prefill/decode 更快、显存更低
🦾具身智能P3 顶级机构Stanford
高保真月球仿真生成安全专家轨迹,VLA 对接策略在未见感知扰动下与模块化管线竞争。
- 设计月球漫游车自主对接的 VLA 端到端策略及相对模块化基线的评测
- 可扩展训练框架于高保真仿真生成 safety-aware 专家演示
- 自适应开环执行 horizon,在降推理频率同时限制危害接触率
💬LLMP3 顶级机构Meta
揭示多会话 Agent 换模型时历史会导致行为模式迁移,并提出 DASH 摘要缓解弱到强迁移。
- 通过受控实验发现 raw 历史传递会使接收模型继承前序模型的推理与行动模式
- 提出方向与作者感知的 DASH 历史摘要以保留强模型行为、抑制弱到强迁移
- 反复换模实验表明 DASH 优于 raw 历史与朴素摘要基线
💬LLMP3 顶级机构Meta
用搜索树节点摘要替代扁平 ReAct 上下文,Reflection/Execution 双角色联合 GRPO 训练,深度研究与 SWE 任务更优。
- 框架让策略自主选择加深、分支、回溯或停, harness 维护带摘要的搜索树
- 单 LM 承担 Reflection 选节点与 Execution 沿路径执行工具直至新节点或方案
- 树感知 GRPO 小模型 RL 后在 deep-research 与 SWE-bench Verified 上超越 ReAct/FoldAgent
💬LLMP3 顶级机构Microsoft
统一平台与基准评测 Agent 在多应用环境中的语境完整性泄露,揭示任务能力与隐私保护脱节。
- 构建 AgentCIScope 可执行多步任务基准,约束 grounded 于政策、人设与敏感属性 taxonomy
- 评估 12 个 Agent 共 936 任务,量化单次与重复运行下的泄露率差异
- 分析泄露在属性、环境与隐私政策维度上的分布规律
💬LLMP3 顶级机构CMU
将多任务 LLM 提供商路由建模为采购拍卖,STAR 策略证明且拓扑感知地降低期望总支付。
- 图工作流路由形式化为单参数采购拍卖,耦合跨任务上下文复用
- STAR 最小化虚拟成本加权图负载,真实报价为占优策略并覆盖执行成本
- 在独立成本先验与非递减虚拟成本下额外最小化用户期望总支付
🦾具身智能P3 顶级机构北京大学
双臂分工重排与覆盖擦拭,Geo-MILP 规划协作序时,可达被挡区域并大幅缩短规划与执行时间。
- 擦拭与物体重排原语,一臂清障一臂擦拭覆盖障碍下区域
- Geo-MILP 结合 LBBD 迭代优化动作序时与几何冲突
- KOMO 生成无碰平滑轨迹,仿真与实物验证优于 TAMP 基线
🧊3D 生成P3 顶级机构UC Berkeley
用稀疏三维锚定隐点云表示场景,兼顾重建与可控相机下的生成。
- 提出显式三维位置与隐式内容特征结合的 SceneAE 隐表示
- 持久三维表示可投影解码为新相机轨迹的 RGB-D,无需逐轨迹重生成视频
- 先几何后内容的生成流程减轻相机-外观纠缠并提升相机可控性
🦾具身智能P3 顶级机构NVIDIA
层次化框架实现双打严格轮流击球与避碰,仿真回球成功率较 SOTA 提升 13.2%,实机可连续 10+ 次交替击球。
- 队级规划联合选位,用学习风险估计过滤提案并优先保留当前击球手目标
- 个体级步态与击球技能互导状态以支持快速切换,球拍 residual 用仿真反馈精修击球
- 仿真与实机验证快速让位、约 2 cm 定位误差与安全协同
💬LLMP3 顶级机构腾讯混元
先抽取源文档支持的原子事实再驱动多格式生成,提升继续预训练的事实基准表现。
- 提出 AFCS:结构感知抽取、源 grounded 验证与事实驱动的多格式合成
- 在 FineWiki 上对 OLMo 继续预训练,优于 WRAP 与 Nemotron-CC 等多事实 QA
- 粒度消融显示事实级合成优于 chunk/段落/实体级,并报告 mid-training 集成收益
💬LLMP3 顶级机构北京大学
免训练:远端 KV 共享 far memory 位置、局部保精确位置,并锐化远记忆注意力权重以抗稀释,长上下文加速显著。
- 利用 drafter 可读 target 隐状态且轻量架构可负担全历史注意力的观察
- 远距条目统一 far memory 位置,分别控制远记忆内锐化与相对局部窗总权重
- 六组 target-drafter、至 256K 基准上多达 4.22× 相对自回归的最佳加速
👁️VLMP3 顶级机构Meta
在冻结 VLM 上证据治理地进化视频理解 harness,缓解验证过拟合与搜索预算稀释。
- VideoHarness-BRSI 递归进化视频 harness,分析验证过拟合等三类失败模式
- SRSI 要求搜索决策基于可迁移、充分且预先收集的证据
- 四基准上相对 BRSI 提升 held-out 均分并缩小 validation-test gap
💬LLMP3 顶级机构清华大学 · 北京大学
两阶段确定性基准:模型在固定 builder harness 内据文档搭完整 candidate harness,再经脚本 mock 模型端到端打分。
- 直接评测长程 harness 工程而非固定 harness 下的下游任务成功率
- Stage1 构 harness、Stage2 隔离容器四通道可观测打分并设阳性对照
- 19 个前沿模型显示最强约半数通过,失败多集中在横切功能模块划分
🦾具身智能P3 顶级机构UC Berkeley
在策略参数 latent 空间用扩散模型生成可实机部署的人形控制网络,并揭示第一层权重中的运动学先验结构。
- 线性自编码器压缩 actor 参数,Diffusion Transformer 建模 latent 分布并生成可用网络
- 基于 Unitree G1 RL 策略权重训练,生成行走、舞蹈、旋踢等实机可执行行为
- 分析权重空间结构,发现 RL 与 IL 下均出现的首层运动学先验
💬LLMP3 顶级机构MIT
多 Agent 协作中传播校准动作信念优于只传动作;偏差会破坏收益,对话校准可纠偏。
- 理论与分析说明无偏概率通信可严格强于仅通信动作
- 迷宫协作任务验证:校准不确定性保留时概率通信更优
- 提出事后对话校准干预,在 toy 与预训练 LLM 上稳定改进决策
💬LLMP3 顶级机构北京大学 · Stanford
在 RLVR bandit 形式下证明适当增大 EMA 动量 β 可加速且采样下保增益;LLM 后训练调大 β₁ 可提升验证精度。
- 精确梯度下证明 β 在安全范围内增大严格加速优化
- 小学习率下需增大 β 保持 η/(1-β) 安全区以让期望增益压过采样波动
- Qwen RLVR 与 32B AdamW 调 β₁ 相对常规选择近 2 个百分点验证精度提升
💬LLMP3 顶级机构北京大学 · UC Berkeley
提出 LePhilBench,评测 LLM 理解法律哲学并在法律推理中应用的能力。
- 定义 legal-philosophical reasoning 并指出现有研究忽视该能力
- LePhilBench 含理解与应用两类任务及 meticulously 构建的数据集
- 测试集为美国最高法院意见并含大量法律哲学标注
💬LLMP3 顶级机构Microsoft
NatScale 用幂变换校准梯度专家权重至信息论对比目标,在存储预算下联合门/up/down 误差选混合精度配置。
- 指出混合精度 MoE 分配需超越专家排序,需校准误差权重强度
- NatScale 保留排序同时将梯度权重校准至对比目标并融合谱/方差先验
- 三模型九设置相对五基线多数取得更低 KL、更高 top-token 一致与更低困惑度
👁️VLMP3 顶级机构MIT
无训练框架借 VLM 渲染与动力学反馈,从单练习场景 refine 可复用感知与规划程序。
- 仅需领域规格与单场景、无配对解,构造可复用感知与规划程序
- 用 VLM 提供 renderer 与 dynamic model,通过执行反馈 refine grounding 与 planner
- 十五域变体平均规划成功率 99.3%,新实例无需再调 VLM
🦾具身智能P3 顶级机构清华大学
综述智能体化机器人范式,梳理从策略到 VLA 与世界模型的演进,并按四大功能域归类现有研究。
- 界定智能体化机器人定义与范围,追溯至 VLA 与世界-动作模型
- 在 Model/Data/Environment/Harness 四域下整理十七类研究工作
- 总结开放挑战并展望更可靠、可适应的智能体化机器人方向