搜索Ctrl K
  • 榜单数据10-19 16:51
  • 论文数据10-20 18:44
  • 周报10-19 16:07
2026-10-20 周二共 93 篇:生成 10 · 代码生成 0 · 智能体 9 · 世界模型与具身 26 · 理解 17 · 音频 3 · 多语 2 · 基础模型 26
生成
文生图 3图编辑 0视频生成 63D 生成 1
代码生成
Visual2Code 03D2Code 0
智能体
GUI Agent 4代码 Agent 4工具调用 1
世界模型与具身
世界模型 8具身智能 18
理解
VLM 16OCR 1
音频
音频 3
多语
多语言与翻译 2
基础模型
LLM 26统一多模态 0

本页要点由 AI 根据论文摘要生成,以原文为准。

共 93 篇

具身智能P1 顶会CoRL 2026 · 北京大学公告日期引用 0

MoDex: Towards Universal Multi-Object Dexterous Grasping(在新窗口打开)

提出数据高效框架 MoDex,以残差修正参考轨迹统一多物体灵巧抓取,未见物体成功率 61.24%。

  • 将多物体抓取表述为对参考轨迹残差修正的单步决策
  • 近距单次抓取与分离布局顺序交互的空间自适应双策略
  • 跨本体泛化,纯仿真视觉策略零样本 sim-to-real
VLMP1 顶会NeurIPS 2026公告日期引用 —

From Views to Worlds: Active Exploration over 3D Worlds for Vision-Language Models(在新窗口打开)

提出 V2W,让 VLM 在显式 3D 世界上多轮主动采集空间证据,实现无训练的世界中心空间推理。

  • 重建含几何、相机位姿与语言语义的 3D 世界并供 VLM 访问
  • 通过视觉与语言接口多轮交互获取跨视角空间证据
  • 可训练-free 接入现有 VLM,RL 可进一步优化探索策略
LLMP1 顶会NeurIPS 2026公告日期引用 —

SteadyThought: Mitigating LLM Under-Thinking via Thought-Level Preference Optimization(在新窗口打开)

提出思维级偏好优化框架 ST,在切换点约束单路径延续,降 token 耗且保持推理准确率。

  • 将 under-thinking 形式化为切换点处的偏好问题
  • 以新续写为 preferred、原响应为 dis-preferred 做思维级 DPO
  • 多模型多数据集上 token 消耗最多降 63.8% 且推理仍强
具身智能P1 顶会NeurIPS 2026公告日期引用 —

CondenseVLA: Learnable History Condensation for Efficient Multi-Frame VLA(在新窗口打开)

在 VLA 解码端用可学习 slot 压缩多帧视觉历史,提升操作成功率并控制计算开销。

  • 提出 decoder 侧可学习历史压缩模块,用 cross-attention 将帧特征蒸馏为固定 slot
  • 辅助正则减少 slot 重叠与冗余,鼓励互补注意力
  • 在 Simpler-WidowX、LIBERO 与真实任务上验证 selective condensation 有效
VLMP1 顶会EMNLP 2026公告日期引用 —

From Cause to Effect: Generating Intermediate Event Chains in Videos(在新窗口打开)

提出因果链生成任务与 SODA-Embedding、Causal-QA 指标,GRPO 微调后 VLM 叙事因果理解显著提升。

  • 因果链生成(CCG)任务及 SF20K-CC、CMD-CC 测试集
  • SODA-Embedding 与 Causal-QA 互补自动评测指标
  • 复合奖励 GRPO 微调 VLM,优于强基线
具身智能P1 顶会CoRL 2026公告日期引用 —

FR-VLA: Implicit Force Reasoning VLA for Contact-Rich Manipulation(在新窗口打开)

在 VLA 内用视觉语言上下文估计力反馈相关性,调制 token 化力通路再生成动作。

  • Vision-Language Force-Reasoning 模块用 force query 产生力准入信号
  • 力准入随交互阶段变化,非固定注入力测量
  • 五类接触丰富真实任务上平均成功率领先,两平台验证
LLMP1 顶会NeurIPS 2026公告日期引用 0

How Data Scales in Agentic Reinforcement Learning: Laws and Synthesis Strategies(在新窗口打开)

分解 task/environment/trajectory 拟合 agentic RL 扩展律,环境轴优先,按 recipe 分配预算较主流 scale trajectory 算力效率约 1.7×。

  • 三轴 cardinality 与 reward 密度分解,跨域拟合 per-axis 扩展关系
  • 用扩展律为合成方法定价并识别各轴 synthetic-to-real 崩溃临界比
  • 约束优化下 Chinchilla 式预算分配并在 held-out 规模验证
具身智能P1 顶会NeurIPS 2026公告日期引用 0

Scene-Adaptive VLA: Efficient Autonomous Driving via Dynamic Layer Routing(在新窗口打开)

用帧级时序场景变化与决策偏差刻画复杂度,预算条件层路由按场景选激活层,Bench2Drive 上推理算力约减 53.5% 且驾驶与语言能力损失可忽略。

  • 提出场景自适应 VLA:结构级动态层路由而非仅序列适配
  • scene-aware token 与 specialized queries 驱动 active parameter 比例选择
  • 在 SOTA VLA 上端到端优化并显著降低 onboard 推理开销
视频生成P1 顶会NeurIPS 2026公告日期引用 —

Meta Inverse Prompting for Video Generative Models(在新窗口打开)

提出 MVIP,用 meta-learning 学习跨时间 meta-prompt,实现高效视频逆提示与更高重建保真。

  • 面向视频生成提出实用逆提示框架,兼顾时序与算力
  • 将逆提示形式化为 meta-learning,摊销测试时逐视频优化
  • 相对图像逆提示与迭代 caption 基线提升重建质量与效率
LLMP1 顶会NeurIPS 2026公告日期引用 —

When Empathy Misses the Goal: A Benchmark for Goal Displacement in LLM Advice(在新窗口打开)

定义 goal displacement 并发布 GDB(230 场景、18 模型人类评分),量化共情话术替代实质帮助及 DPO 等缓解效果。

  • GDB 基准与 2×2 taxonomy(硬约束×情绪困扰)及 deletion-test 评分量表
  • trap/reverse displacement 与 Chatbot Arena Elo 等系统性测量
  • 支持模型对比、后训练评估与回归测试的可复现诊断工具
具身智能P1 顶会NeurIPS 2026 · 腾讯混元公告日期引用 —

EmbodiedWorld-200K: Toward Embodied World Agents via Embodied-Planning Dataset and Interactive World Models(在新窗口打开)

发布 20 万级开放世界具身导航规划数据,并用视频世界模型作环境代理做 RL 后训练以泛化分布外场景。

  • EmbodiedWorld-200K 含多层次标注与统一评测划分,支持 EWA 离线预训练
  • 以视频世界模型为低成本交互代理,对世界模型内 RL 后训练 EWA
  • 预训练与 WM 内 RL 后训练均提升开放世界具身规划与 OOD 表现
VLMP1 顶会NeurIPS 2026公告日期引用 0

FrameScout: Scouting Query-Relevant Frames for Long Video Understanding(在新窗口打开)

流式 keyframe selector 与帧-查询对比训练,在三个长视频 benchmark 与六种 VideoLLM 上 consistently SOTA。

  • 滑动窗口 KV 与 successor 聚合的流式 selector 生成时序上下文帧嵌入
  • 帧-查询对比目标在共享空间对齐并区分相关帧
  • 多 benchmark、多 base VideoLLM 上稳定优于现有 selector
LLMP1 顶会NeurIPS 2026公告日期引用 0

Axiomatic World Modeling for Physics Reasoning(在新窗口打开)

定义建模漂移并提出 RLAWM:建模层与求解层物理 grounded reward,训练期惩罚推断公理世界与题设物理世界 divergence。

  • 提出 modeling drift:内部公理化世界模型与题设物理世界的偏差
  • RLAWM 分层奖励分别监督抽象建模与实例化推导一致性
  • PhysReason、PHYSICS 及奥赛级任务上相对 baseline 显著提升并零样本泛化
音频P1 顶会INTERSPEECH 2026公告日期引用 —

Probing and Mitigating Hallucinations in Speech-augmented Language Models for Automatic Speech Recognition via Small Language Models(在新窗口打开)

用因果中介与行为分析定位 SLM-ASR 幻觉来源,提出小模型框架 AudioSLM 显著减轻幻觉并优于部分 LLM-ASR。

  • 从因果中介与行为角度探测 SLM 在 ASR 中的幻觉机制
  • 提出基于小 LM 的 AudioSLM,用对齐与 cross-attention 强化声学建模
  • LibriSpeech 上减轻幻觉并优于部分 LLM 基线 ASR
LLMP1 顶会NeurIPS 2026公告日期引用 —

NADS: Navigator-Guided Data Selection for Mitigating Catastrophic Forgetting in Fine-Tuning(在新窗口打开)

先训 navigator 暴露微调配方所致漂移,用其与预训练模型分歧为合成样本打分并做效用-多样性选集蒸馏保通用能力。

  • navigator 在无保持正则的目标配方上刻画 recipe-induced capability drift
  • 用 navigator 与预训练模型预测分歧做遗忘感知效用评分
  • 高效 utility–diversity 约束集 + 新任务微调蒸馏,平衡新任务与通用能力
世界模型P1 顶会ECCV 2026公告日期引用 —

GeoV2V: Geometry-Grounded Video Diffusion Model for Driving Scene Generation(在新窗口打开)

融合 LiDAR/深度几何先验与全视频条件,沿新轨迹合成时序一致的驾驶视频并发布 Para4D。

  • GeoV2V 在 Wan 2.1 上集成几何先验做 video-to-video 新视角合成
  • Para4D 提供同步多车道驾驶视频以监督换道变换
  • Waymo、nuScenes、Para4D 上视觉质量与几何一致性达 SOTA 水平
LLMP1 顶会NeurIPS 2026公告日期引用 —

Behavioral Probes for Information Flow in LLM Swarms(在新窗口打开)

用 ECS/PKS 行为探针量化 swarm 节点对外部上下文与参数知识的依赖,用于剪枝与推理路径搜索。

  • 将 ECS、PKS repurposed 为 swarm 信息流的外部上下文与参数知识依赖度量
  • 发现 ECS 随输入相关性上升、PKS 随有效上下文累积下降等稳定模式
  • 探针引导的节点剪枝与推理路径搜索可减通信/token 并加速收敛
VLMP1 顶会ECCV 2026公告日期引用 0

Unbalanced Optimal Transport for Efficient Visual Document Retrieval(在新窗口打开)

将 VLM 视觉 token 压缩建模为 UOT,统一重要性、冗余与覆盖,在 ViDoRe 上改善检索效率与效果。

  • UOT 框架将 token 重要性、语义冗余与覆盖容量统一于交替优化
  • 理论证明最小化运输成本可上界 MaxSim 检索误差以稳定排序
  • ViDoRe V1/V3 上保留细粒度文档语义并优于基线
LLMP1 顶会EMNLP 2026公告日期引用 —

Aligning Cultural Behaviors in Arabic Language Models via Preferences(在新窗口打开)

发布 pan-Arab 文化偏好数据集 ArabPref 与多国文化选择题基准,系统评估后训练对阿拉伯 LLM 文化对齐的效果。

  • 首个大规模 pan-Arab、按国家条件的文化行为偏好训练与评测数据
  • 英/现代标准阿拉伯语资源及母语者校验的多选文化对齐基准
  • 在多语与阿拉伯-centric 模型上对比后训练并发布评测基准
视频生成P1 顶会NeurIPS 2026公告日期引用 —

Holo4D: Holistic 4D Reconstruction as Geometric Control for Video Diffusion(在新窗口打开)

用前馈 4D 重建轨迹作 scaffold 引导预训练视频扩散,实现新相机轨迹下的单目视频重拍。

  • 重建 3D 轨迹投影为目标视角,编码几何与源外观引导扩散
  • 源视频与目标相机结合 scaffold,未观测区域交给生成先验
  • 可换不同 4D 重建器而无需重训视频生成器
文生图P3 顶级机构MIT公告日期引用 0

LogicVal:A Logic-Formalized Benchmark for Constraint Satisfaction in Text-to-Image Generation(在新窗口打开)

将 T2I 评测形式化为约束满足,LogicVal 结合检测与逻辑推理评估生成图。

  • 提出逻辑框架形式化指定对象、属性、关系及图像需满足的约束
  • 揭示单对象与复杂多对象逻辑约束类别间显著能力差距
  • LogicVal 在 CLEVR 上 ROC-AUC 约 0.88–0.98,与人类判断较一致
具身智能P3 顶级机构CMU公告日期引用 —

SWAP: Test-Time Steerable Humanoid Whole-Body Collision Avoidance(在新窗口打开)

高层扩散生成多模态避障全身运动,低层 RL 跟踪保平衡;hindsight 标注训练,测试采样可转向速度姿态等目标。

  • 层次 SWAP:感知条件扩散高层提案 + 全身 RL 低层稳定跟踪
  • hindsight labeling 在随机指令 rollout 上构造无碰撞监督
  • 仿真与 Unitree G1 实机验证静态/动态避障,测试转向平均提升定向奖励约 34%
世界模型P3 顶级机构清华大学公告日期引用 0

Time-JEPA: Grounding Video World Models with Physical Time Series(在新窗口打开)

以物理时间序列辅助监督微调视频世界模型,多域上改进当前与未来状态预测。

  • 提出 Time-JEPA,用低维、时序对齐的物理序列连接视频与物理状态
  • 在自动驾驶、机器人操作、人体运动等域优于视频微调对照
  • 多域训练在三项任务上聚合优于匹配的单域训练
具身智能P3 顶级机构Stanford · CMU公告日期引用 —

Action-Aligned Latent Planning for Versatile Humanoid Loco-Manipulation(在新窗口打开)

将任务策略投影到冻结 BFM 可执行 latent 空间,离线训练统一 flow planner,仿真 128 变体平均成功率 42.0%,真机 G1 验证迁移与技能串联。

  • LPP 把任务专用策略映射为与局部控制响应一致的 latent 命令
  • AH-BFM 用 multi-gamma FB 学习支持精确控制与长时 whole-body 行为
  • 单一感知 planner 在 pickup、开门、抓取等多技能上大幅优于 kinematic 规划基线
视频生成P3 顶级机构NVIDIA公告日期引用 —

Clean Forcing: Drift-Resistant Autoregressive Video Diffusion with a Frozen Base(在新窗口打开)

在冻结 AR 视频扩散基座上训练轻量 LoRA 校正器学习确定性漂移,长时文本生视频几乎不增推理成本。

  • 揭示固定噪声下历史变化导致的 counterfactual velocity gap 约 95% 具系统性
  • 提出 Clean Forcing:冻结基座 + LoRA 校正与闭环 DAgger、drift-contraction
  • 无需真实视频亦可显著降低长程 Δ-drift,数据量远少于已有最优结果
多语言与翻译P3 顶级机构Google DeepMind公告日期引用 —

DeepSEA: A Multilingual Evaluation Benchmark for Southeast Asia(在新窗口打开)

构建覆盖 12 种东南亚语言、五类任务的 DeepSEA 基准,揭示前沿模型在低资源语上性能骤降及经英语 pivot 的依赖。

  • 经专业人工翻译整合 12 种东南亚语言与五类任务的综合基准
  • 系统评估专有与开源前沿模型在不同资源层级上的表现差异
  • 跨语言错误分析与跨文字 tokenizer fertility 分析
世界模型P3 顶级机构清华大学公告日期引用 —

State World Models: Execute the Rules, Generate the Pixels(在新窗口打开)

Stateful Harness 将规则驱动的世界状态演化与冻结视频模型渲染解耦,在 WorldState-Bench 上显著提升隐状态交互的规则遵从。

  • 提出 Stateful Harness,分离世界演化与视频渲染以支持有状态规则交互
  • 构建 WorldState-Bench:50 组反事实孪生对评测隐藏状态下的规则结果
  • 同冻结视频后端下完整 harness 将双结局正确率从 32% 提升至 92%
具身智能P3 顶级机构Stanford公告日期引用 0

ContactBench 1.0: A Benchmark for Everyday Contact-Rich Robotic Manipulation(在新窗口打开)

基于八种日常操作技能定义 36 项任务与可复现资产,评测显示纯视觉策略难以感知接触,视触策略提升有限。

  • 归纳八种接触丰富操作技能并实例化为 36 参考任务
  • 提供可消费级 3D 打印资产与可调负载仿真模型
  • 对六种任务评测近期视觉与视触策略并揭示接触感知短板
世界模型P3 顶级机构Apple公告日期引用 —

Latent World Models Should Plan with Distances Along the Latent Manifold(在新窗口打开)

指出 LeWM 用 ambient L2 作终端代价易陷伪低代价盆地,NGC 在训练 latent 的 mutual-NN 图上最短路径规划并显著提升成功率。

  • 分析 L2 终端代价仅在目标邻域可靠、远处与物理状态不一致
  • 提出 Neighborhood Graph Cost,仅改终端代价、无需重训
  • 四基准上改进 LeWM,TwoRoom 与 Reacher 远目标处达 95% 与 100%
LLMP3 顶级机构清华大学公告日期引用 —

When Safety Fails Collectively: Robust Alignment Against Harmful Fine-Tuning via Joint Weight Perturbations(在新窗口打开)

发现有害权重扰动分块单独作用弱、联合作用超加性;对齐阶段 JWP 训练模型在组合扰动下仍安全响应。

  • 识别有害扰动的集体失效:联合施加有害性超过各部分之和
  • 提出对齐阶段 Joint Weight Perturbations,掩码组合有害扰动状态训练
  • 多下游任务与模型族上抗有害微调强于先前防御且任务性能 largely 保持
世界模型P3 顶级机构清华大学公告日期引用 —

Ropedia W0: Scaling Loco-Manipulation World Models across Embodiments with Human Experience(在新窗口打开)

Ropedia W0 为跨人类与机器人具身的 egocentric loco-manipulation 世界基础模型,在五个跨具身基准上 SOTA。

  • 策展 Xp-Data:统一多模标注的 10k 小时人类与 3k 小时机器人 egocentric 数据
  • 统一 kinematic 表示编码相机位姿 locomotion 与投影 skeleton manipulation
  • 蒸馏后支持实时分钟级 rollout,用于策略评估与基于模型的规划
具身智能P3 顶级机构清华大学公告日期引用 0

LIBERO-Pro2.0: A Benchmark for Evaluating the Robustness of Embodied Foundation Models(在新窗口打开)

在 LIBERO 上扩展 22 类静态扰动与 20 类运行时干预共 1648 shifted 任务,17 种策略在运行时分布偏移下平均性能约降 26.5 个百分点。

  • 六维分布偏移下系统化构造并人工六轮校验的 shifted 任务实例
  • 收集 39390 条模型生成与人类示范训练轨迹支持鲁棒学习
  • 评测 VLA、world-action 等范式并揭示名义 benchmark 与鲁棒性差距
世界模型P3 顶级机构NVIDIA公告日期引用 —

Vector-Quantized World Model: Latent Feedback Motion Planning for Robot Manipulation(在新窗口打开)

VQ-WM 离散 latent 搜索与连续视觉反馈控制结合,汉诺塔真机短数据 100% 成功,仿真操控/ locomotion 大幅领先既有世界模型。

  • VQ latent 转移预测 + 离散最短路规划 + 连续反馈控制器串联缓解复合误差
  • 用 first-passage-time 准度量替代欧氏距离对齐规划与控制能力
  • 短演示数据下组合长程解并在多仿真基准上优于最强世界模型基线
多语言与翻译P3 顶级机构NVIDIA公告日期引用 —

Scaling Synthetic Pre-training Data and Evaluation for Indic LLMs(在新窗口打开)

发布约 2.83T token 的 22 语印度语合成预训练语料与 Indic-LLM-Eval-Suite,并分析数据规模与脚本覆盖影响。

  • Nemotron-Pretraining-Indic-v1 为目前最大公开印度语预训练语料
  • GPU 流水线翻译、质检与修复,继续预训练显示合成+自然文本优于公开基线
  • Indic-LLM-Eval-Suite 覆盖对话、推理、代码、翻译等多能力与语言
GUI AgentP3 顶级机构清华大学公告日期引用 —

VeriCUA: Learning Proactive Verification for Reliable GUI Agent Rewards(在新窗口打开)

可训练 Judge 学习查什么与何时停,冻结 Probe 在线执行,跨 OSWorld/MobileWorld/WebArena 奖励一致性与成本 Pareto 最优。

  • 单次验证约束下从执行中学习验证策略的 VeriCUA 架构
  • Judge 优化判决正确性与 Probe 效率,跨终端状态归一化回报
  • 作为 Actor RL 奖励提升整体任务成功与多应用泛化
LLMP3 顶级机构Stanford公告日期引用 —

Safety Mid-Training: Internalizing LLM Safety as a Foundational Capability(在新窗口打开)

在预训练与后训练之间加入安全中期训练,显著降攻击成功率并改善通用能力。

  • 将安全与一般推理置于共享推理结构联合中期训练
  • 相对 Qwen3 base 平均 ASR 降约 72%–81%
  • 后续仅通用 SFT/GRPO 仍 largely 保留安全优势
具身智能P3 顶级机构NVIDIA · 北京大学 · UC Berkeley公告日期引用 —

Physical Words: A Vocabulary for Structuring Latent Reasoning in Robot Manipulation(在新窗口打开)

PhysWord 用原子动作词对齐物理动力学 latent 表示,在 UniVTAC 与 LIBERO-Long 等任务达到 SOTA 成功率。

  • 提出 Physical Words 作为连续物理动力学与语义的原子动作锚点
  • 构建 reasoning-before-acting 的 PhysWord 基础模型及时序结构化空间
  • 在 visuotactile 与 vision 操作基准及真机双手/灵巧手任务上优于对比方法
代码 AgentP3 顶级机构Meta公告日期引用 0

OR-License: Evaluating LLM Agents as Real-World Operations Research Practitioners(在新窗口打开)

31 例工业 OR 端到端 benchmark,最强 coding-agent 配置 DAQ 0.87、严格可行率 88.39%。

  • OR-License 保留原始需求、数据与交付格式,含 ORSim 客户模拟器
  • 引入 DAQ 衡量相对专家解的质量,不可行交付计零
  • 轨迹分析指向建模与实现失败,可评估任务链完成率约 24%–45%
3D 生成P3 顶级机构NVIDIA公告日期引用 0

NV-Generate-Body: 3D Latent Diffusion Model forControllable Anatomy, Tumor, and Demographic Body Mask Synthesis(在新窗口打开)

3D latent diffusion 在压缩掩膜 latent 中合成全身 CT 分割掩膜,联合控制器官、肿瘤与人口统计条件。

  • 冻结 mask 自编码器 latent 上的 3D diffusion,19 维条件经 AdaGN 与 cross-attention 控制
  • 尺寸自适应 ROI 损失、空间 halo 加权与配对肿瘤注入,缓解肿瘤标注稀缺下的尺寸条件
  • 8,571 掩膜、26 队列、132 标签训练,报告器官尺寸、多部位肿瘤召回与 demographic 对齐指标
世界模型P3 顶级机构Stanford · MIT · UC Berkeley公告日期引用 0

ACTS: Learning Visuo-Tactile World Models from Human Physical Interaction(在新窗口打开)

仅用人类 GelSight 交互数据训练 ACTS,联合预测场景/腕部/触觉未来,接触动力学较视觉更易迁移机器人。

  • 提出仅依赖人类交互数据的视觉-触觉动作条件世界模型 ACTS
  • 发布 React 数据集:4.9 小时双手操作,含第三人称/腕部视频与触觉力
  • 在保留人类数据上 PSNR 优于基线,机器人 rollout 中触觉印记可零微调部分迁移
音频P3 顶级机构NVIDIA · CMU公告日期引用 1

Long Listening Thoughts: Eliciting Open Auditory Reasoning with Deliberative Perception and Cognitive Refinement(在新窗口打开)

提出 LLT 四阶段数据管线合成 160 万条音频推理轨迹,SFT+DPO 后 Qwen2.5-Omni-7B 在 MMAU、MMAR、MMSU 上准确率明显提升。

  • 四阶段构建后训练集:多 aspect 稠密描述、难题、错误推理与长链续写
  • thought-continuation 激发验证、回溯等认知行为
  • 在多个音频理解与推理 benchmark 上验证 LALM 后训练效果
具身智能P3 顶级机构清华大学公告日期引用 —

AeroDASH: Asynchronous Vision-Language-Action Control for Continuous UAV Flight(在新窗口打开)

异步 VLA 框架用 B-spline 轨迹融合与 execution-aware GRPO,机载推理时仍连续飞行,UAV-Flow 成功率 76.56%。

  • 语言条件连续飞行的异步 VLA:B-spline 初训与执行期轨迹融合
  • execution-aware GRPO 用轨迹级奖励适配异步执行偏差
  • UAV-Flow 上显著优于 OpenVLA-UAV 等并完成机载语言条件演示
LLMP3 顶级机构Microsoft公告日期引用 —

OPDArena: Understanding Learning and Forgetting in On-Policy Distillation(在新窗口打开)

系统对比 SFT、RLVR 与 OPD 五种预训练模型,分析教师来源如何影响学习、遗忘与分布变化。

  • 构建 OPDArena,联合评估数学学习、通用能力保持与预测分布变化
  • RLVR 教师的学生更易保能力,SFT 教师伴随更大能力损失
  • 域外分布变化与遗忘关联更稳定;教师任务偏好使更新更集中在域内
具身智能P3 顶级机构清华大学 · 北京大学公告日期引用 —

HandsOn: A Large-Scale Simulation Benchmark for Generalizable Dexterous Manipulation(在新窗口打开)

跨本体灵巧操作仿真平台与基准,多类策略在 Core-50 上成功率仍较低。

  • 支持多臂多灵巧手与约 200 资产的可组合仿真环境
  • Core-50 与 Transfer-16 覆盖演示学习、迁移与组合任务
  • 诊断接触建立、动作协调与序列错误等失败模式
GUI AgentP3 顶级机构Microsoft公告日期引用 —

Agent World Model in the Wild: Computer-Use Agent Environment Synthesis(在新窗口打开)

WildAWM 用开源模型合成可执行 GUI/MCP/CLI 环境与长程任务,在此训练的智能体在 8 个 OOD 基准上泛化提升。

  • WildAWM 流水线合成 341 组长程环境-任务对,支持 GUI、MCP 与 CLI 联合交互
  • 执行式质量门控保障可解性、难度与可靠验证器
  • 仅用合成世界训练 Qwen 模型,在 web/claw/computer-use 等 OOD 基准显著增益
LLMP3 顶级机构Meta公告日期引用 0

ProbePO: Sparse Probes, Redistributed Credit for Critic-Free LLM Reinforcement Learning(在新窗口打开)

在有限 rollout 预算下用无 reward 不确定性选部分解并估计 verifier 期望,重分配 GRPO 轨迹优势,多模型多 benchmark 多数优于 GRPO。

  • 将细粒度信用分配表述为预算内测量:选哪些部分解、如何 refine credit
  • ProbePO 保留轨迹级 mean advantage 的同时用探测 continuation 作测量
  • 相较 VinePPO 在 DeepSeekMath-7B 上六套 benchmark 更高精度且训练时间约减 76%
具身智能P3 顶级机构Stanford公告日期引用 —

Dream What I Can: Sparse Visual Planning for Long-Horizon Robot Manipulation(在新窗口打开)

DreamCan 用预训练视频模型生成稀疏视觉子目标、低层 visuomotor 执行,在 LIBERO-Long 上报告 91.2% 成功率。

  • 高层稀疏视觉子目标平衡可达性与任务效用
  • 从无动作离线视频用动态规划选子目标序列
  • 分层策略优于语言、稠密视频与均匀子目标等规划基线
代码 AgentP3 顶级机构CMU公告日期引用 —

Editing as Language: Teaching LLM Agents a Grammar for Native Context Editing(在新窗口打开)

NCE 用特殊 token 文法让 Agent 原生编辑上下文,在四套长程 SWE/终端基准上提成功率并降 token 用量。

  • Native Context Editing:将上下文编辑编码为专用 token 文法并轨迹训练
  • 相对外部 harness 工具代码生成,编辑内嵌于模型原生生成以更好泛化
  • Terminal-Bench 2.0 与 SWE-bench 系列上提升成功率并减少平均 token
音频P3 顶级机构Stanford公告日期引用 —

Manifold-Constrained Residual Adaptation with Frame-Adaptive Layer Aggregation for Speaker Verification(在新窗口打开)

MCRA 与 FALA 极少参数高效适配 WavLM,冻结基线上 VoxCeleb1-O 与 CN-Celeb 相对 EER 明显下降。

  • 提出 MCRA:Sinkhorn 归一化矩阵在残差维组间交换信息,门控混原/混合路径
  • 提出 FALA:共享 query 为每帧自适应聚合各层表示
  • 可训参仅占 WavLM-Large 约 0.0009%–0.0016% 仍获显著 EER 相对降幅
具身智能P3 顶级机构清华大学 · 北京大学公告日期引用 —

HAF-VLA: Hierarchical Action Flow Framework for Humanoid Vision-Language-Action Control(在新窗口打开)

分阶段去噪全身动作空间并跨阶段 KV-cache 条件,将 flow-matching VLA 适配到人形 loco-manipulation 六项真实任务。

  • locomotion/头→腰→全身 manipulation 的渐进 denoise 与 stage embedding
  • cross-stage KV cache 保持阶段间结构依赖
  • 继承预训练 VLA 权重的人形全身控制适配路径
代码 AgentP3 顶级机构智谱 · 清华大学公告日期引用 —

HarnessPro: Recursive Harness Self-Improvement with Pareto Optimization for Performance-Cost Trade-offs(在新窗口打开)

无标签演化 agent harness,在 Terminal/SWE 等基准上同时提升通过率并降低执行成本。

  • 用 LLM 生成测试评估候选 harness,无需官方测试集
  • 输出 lite/medium/heavy 多档 harness 适配不同预算
  • 相对 RHO 在 heavy 模式平均 pass-rate 提升且单任务成本下降
文生图P3 顶级机构Stanford公告日期引用 —

Text-to-Image Generative Modeling Without Language Pretraining(在新窗口打开)

Halcyon 在 GPIC 上从零 early-fusion 预训练,表明强 T2I 可不依赖互联网规模语言预训练。

  • Halcyon 系列纯 scratch 多模态自回归预训练于 100M 图文对 GPIC
  • Halcyon-0.52B/1.6B 以远少于对比模型的预训练算力取得更好 gFD
  • 对照实验表明 text-only 预训练不改善 T2I;同预算下 I2T 监督仍保持 T2I 质量
LLMP3 顶级机构CMU公告日期引用 0

Coopshift: Post-Training Amplifies The Memory Curse In LLM Cooperation(在新窗口打开)

七条模型谱系上 SFT/对齐后,可见更长历史时合作率下降更明显。

  • 比较 Base、SFT、Aligned 在七种社会困境重复博弈中的合作行为
  • 后训练阶段扩大可见历史普遍进一步降低合作,SFT 已占大部分放大效应
  • 主张后训练评测应覆盖重复交互下合作是否可持续
GUI AgentP3 顶级机构Microsoft公告日期引用 0

SPIDES: Information-Flow Control for Browser Agents(在新窗口打开)

以元素级 HTML 机密性/完整性标注驱动标签传播,门控浏览器原语动作,在 MicroNet 上 0% 攻击成功率且保持高任务完成率。

  • 论证恢复 SOP 对 browser agent 既非充分也非必要,提出基于 IFC 的 SPIDES
  • 不可信与机密内容对 agent 上下文掩码,策略阻断未授权跨源流
  • MicroNet:28 站闭环生态与元素级标注;相对 SOTA 基线兼顾安全、自主性与效用
LLMP3 顶级机构NVIDIA公告日期引用 0

What Matters for NVFP4 Training? A Comparative Study of Low-Precision Pretraining Recipes(在新窗口打开)

系统对比 NVFP4 配方,8B 与 30B-A3B MoE 训练至 1T tokens,给出迄今该规模下相对 BF16 loss gap 较强的 FP4 训练结果。

  • 融合无偏梯度估计等 SOTA,提出基于大规模稳定 NVFP4 原则的最终配方
  • 消融:配方各成分可测改善 loss;规模化恢复精度需 selective 高精度层
  • 反向 pass 并非所有张量同受益于 de-biasing,其余张量可互补降误差
具身智能P3 顶级机构DeepSeek公告日期引用 —

Compile Once, Run Cheap: Frozen, Portable Skills for Embodied Agents, and What Recursive Self-Improvement Adds(在新窗口打开)

离线强模型在仿真中编写并验收操纵技能后冻结为代码,RoboTwin 上低成本复用且跨模型执行。

  • 提出 Skill-RSI 与 compile/reuse 协议(隔离作者、隐藏布局、账本)
  • Claude Code 在 7 项中编译出 4 项共 7 个冻结技能
  • 隐藏布局上继承式修复优于从零重写;冻结技能可无模型或廉价 caller 运行
OCRP3 顶级机构UC Berkeley公告日期引用 —

Design Considerations in Low-Resource Archival OCR: A Case Study in Lakota(在新窗口打开)

微调小 VLM 做拉科塔档案 OCR 后校正,35 页数据 CER 17.1%→3.9%,强调分割噪声与真实流程评测。

  • 系统考察预算、分割噪声、扫描退化与正字法变异四类低资源档案 OCR 问题
  • VLM OCR 后校正微调在双语语料上大幅降低 CER
  • 自动分割下 CER 近翻倍,呼吁按社区真实工作流设计评测
视频生成P3 顶级机构Stanford公告日期引用 —

FluidGen: Physics-Aware Fluid Video Generation via Motion-Guided Post-Training(在新窗口打开)

双流同时预测 RGB 与速度场,注入仿真与野外流体先验,并用速度感知 DPO 改善烟雾火焰等流体视频。

  • 混合 Houdini 仿真速度场真值与 curated 野外流体视频训练先验
  • 双流架构用速度场监督约束物理一致运动
  • 将速度场作为 reward 做 velocity-aware DPO,流体动态优于强基线
具身智能P3 顶级机构清华大学公告日期引用 —

Robotic Photography System based on Vision-Language-Action Model(在新窗口打开)

RoboPhoto-VLA 统一建模感知、推理与相机控制,ADPO 对齐审美偏好,真实场景摄影更符合人类审美。

  • PhotoCoT 结构化动作规划与 Aesthetic DPO 对齐相机行为
  • OpenPhotography 语言引导机器人摄影数据集
  • 未见主体、视角与复杂指令上的真实世界泛化验证
LLMP3 顶级机构Microsoft公告日期引用 —

Breaking Diffusion: Parallel Reasoning with Draft Refinement(在新窗口打开)

DRLM 用单去噪器并行修订草稿并以 cavity energy 筛选,在 Countdown、数独等复杂推理上优于自回归与离散扩散。

  • Draft Refinement LM:统一去噪提出修订并单向前向估计 token 支持度
  • cavity energy 聚合,无需额外打分模型
  • 6M 参数在 Countdown-5 与 Sudoku-Extreme 上达到强结果
LLMP3 顶级机构Stanford · UC Berkeley公告日期引用 —

TokenGate: Adapting LLMs for Fast and Memory-Efficient Prefill with Learned Token Pruning(在新窗口打开)

轻量 TokenGate 在 prefill 阶段可学习剪枝,显著加速首 token 并降峰值显存且不降精度。

  • 提出 token-gated attention 使 top-K 剪枝可端到端学习
  • prefill TTFT 与峰值显存在多任务上显著优于 prior 剪枝
  • 可 drop-in 适配 Qwen3 与 hybrid-attention 模型
工具调用P3 顶级机构Apple公告日期引用 —

OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory(在新窗口打开)

OpenVLHarness 以能力层与持久多模态记忆组织视觉推理与异构工具,在 22 个基准上较无工具基线平均提升约 10 分。

  • 能力层统一工具接口与 evidence rendering,输出可读的模型观测
  • 持久多模态记忆保留图像、结构化数据与网页引用供迭代组合
  • 编码接口在存储数据上执行程序,组合多工具结果
世界模型P3 顶级机构北京大学公告日期引用 0

Language-Forcing: Advancing Humanoid Loco-Manipulation via Semantic Alignment of Whole-Body World Action Models(在新窗口打开)

用语言对齐 WAM 未来视觉中任务相关变化,HumanoidArena 平均成功率 79.17%,真机五任务由 53.33% 升至 71.33%。

  • LANGUAGE-FORCING 用语言强调全身 WAM 任务相关未来视觉变化
  • 冻结 VLM 评估进展,文本嵌入对齐动作条件未来视觉特征
  • 辅助模块仅训练使用,推理无额外开销
VLMP3 顶级机构北京大学公告日期引用 0

RL Teaches VLMs Where to Attend but Not How to Perceive(在新窗口打开)

多轮 RL 提升 VLM 智能体主要靠 LLM 层更关注视觉 token,而非改善视觉编码感知。

  • 用环境 grounded VQA 显示 RL 伴随 grounded 视觉理解提升
  • 探测表明 vision encoder 精度较稳,LLM 层探测精度提高
  • 固定 attention bias 可在未训练模型上部分恢复 VQA 增益
VLMP3 顶级机构NVIDIA公告日期引用 0

Encoder-Free Multimodal LLMs Learn Implicit Encoders(在新窗口打开)

对 Gemma-4 12B 与 Inkling-Small 实证:早期层充当与专用 encoder 类似的隐式音频/视觉编码,且分模态独立编码可达联合编码同等精度。

  • 证明 encoder-free MLLM 早期层为跨模态上下文 largely invariant 的隐式 encoder
  • 多模态推理任务上,全程独立编码各模态与从第一层联合编码精度相当
  • 逐层 probing 显示隐式 encoder 行为与多种流行 encoder 模型相似
代码 AgentP3 顶级机构CMU公告日期引用 —

Over-Defense in Coding Agents Begins at Silent Forks(在新窗口打开)

指出 outcome reward 难以约束 silent fork 上的多余防御,ForkDPO 在行为分歧处对比学习以降低 disproportionate 行为。

  • 分析 silent forks:各后继动作结果相同却仍被模型偏选的决策点
  • 说明轨迹 outcome checker 难以改变多数 GRPO 组的相同奖励
  • ForkDPO 在同前缀对比 proportionate 与 disproportionate 动作
LLMP3 顶级机构北京大学公告日期引用 —

Conformal Prediction-Enabled Sequence-level Policy Optimization for Reasoning Language Models(在新窗口打开)

CSPO 用近期训练统计自适应校准序列级 clipping,在数学推理与 ALFWorld 上优于 GSPO。

  • 序列级 clipping 边界随策略漂移自适应校准
  • 给出超出 band 概率及相对无 clip 目标/梯度误差的界
  • Qwen3-1.7B 系列在难数学基准与 ALFWorld 上验证有效
具身智能P3 顶级机构北京大学公告日期引用 —

TESS: LLM-guided Translation, Exploration, Simulation, and Search for Embodied Task Planning(在新窗口打开)

用 LLM 将自然语言转为目标条件、辅助部分可观测探索,并结合规则世界仿真与动作剪枝做搜索式规划。

  • LLM 将指令翻译为格式化目标条件并剪枝候选动作
  • 在部分可观测下用 LLM 常识辅助高效探索
  • 规则世界仿真使经典搜索在具身域可行,VirtualHome/ALFWorld 表现更优
具身智能P3 顶级机构CMU公告日期引用 —

ForagerSim: Evaluating Embodied Map-Based Reasoning in Large-Scale Dynamic Worlds(在新窗口打开)

模块化仿真平台 ForagerSim 聚焦需地图推理的具身任务,对比 RL 与工程栈显示复杂拓扑下地图推理是瓶颈。

  • 跨感知、尺度、拓扑、动力学与任务类型的模块化具身仿真平台
  • 移动搜救与觅食等需认知地图的任务场景
  • RL 基线、简单工程栈与人类在 8 个示例世界上的对比分析
VLMP3 顶级机构北京大学公告日期引用 —

SpatialScout: Can VLM Agents Actively Explore and Map 3D Scenes?(在新窗口打开)

提出主动物体级三维建图基准,评测显示前沿 VLM 在度量地图精度与覆盖上差距很大。

  • SpatialScout 含 80 场景与 3140 目标物体的主动建图任务
  • 在有限交互预算下需协调视角、跨视图关联与几何估计
  • 最强评测模型 mean overlap 约 41.71%,高精度建图仍困难
LLMP3 顶级机构清华大学公告日期引用 —

Competing Learning in Hybrid Architectures(在新窗口打开)

揭示线性 recurrence 与 softmax attention 在混合架构中竞争学习同一函数的现象,并提出分阶段预训练以改善检索与语言建模。

  • 分析 Competing Learning:一层学会检索会抑制其他层对应学习信号
  • 发现 recurrence 通常更快学会检索导致 attention 难以学到检索
  • 提出分阶段预训练,在至多 1B 参数模型上改善 LM loss 与检索类任务
LLMP3 顶级机构清华大学 · 北京大学公告日期引用 0

UltraData-Code: From Raw Repositories to Algorithmically Dense and Task-Oriented Code Data(在新窗口打开)

四层 L0–L3 代码数据管线,L2/L3 在 10B continual pre-training 下显著提升 EvalPlus 与 MultiPL-E pass@1。

  • L0–L3 连通数据状态,自仓库归档到任务导向合成
  • L2 约 400B tokens、11 语言算法相关 continual pre-training 数据
  • L3 约 150B tokens 结构化编程练习用于 mid-training/SFT
VLMP3 顶级机构Microsoft公告日期引用 0

Write Once, Query Many: Evolving Compact Reusable Memory for Long Videos(在新窗口打开)

Video-EMem 用时间锚定感知观测作可演化记忆,Writer/Reader 分工进化,存储约降 99.86% 且长视频 QA 优于直接输入 2048 帧。

  • 时间锚定文本+稀疏图像记忆,支持无固定 schema 的时序导航
  • Writer 优化源保真与覆盖,Reader 由 QA 证据定位失败驱动进化
  • 冻结底座模型下进化 workflow,平均准确率较未进化 harness 提升 7.2%
VLMP3 顶级机构清华大学公告日期引用 —

ReTrace: Visual Backtracking for Efficient Multimodal Large Language Models(在新窗口打开)

揭示 MLLM 中层 Visual Backtracking,ReTrace 用 dormant token 与回溯窗口再激活,显著降 FLOPs 与 KV 并加速预填。

  • 层间注意力分析发现 pivot 在中层回溯早期低显著 token
  • dormant 状态分离暂不参与计算与不可逆剪枝
  • 在 Qwen2.5-VL 与 InternVL3 上近 90% 计算/KV 降幅且性能保持
视频生成P3 顶级机构阿里通义公告日期引用 —

Map2Vid: Embodied Navigation Video Generation with Human-Friendly Motion Control(在新窗口打开)

将导航视频生成为 BEV 地图到视频任务,建 10 万+序列基准与多信号统一框架。

  • Map2Vid 任务:用 BEV 地图表达全局布局与路线,便于人类控制
  • 61 室内场景、10 万+导航序列及配套数据集
  • 课程训练逐步弱化非地图输入,支持全条件或仅地图推理
VLMP3 顶级机构UC Berkeley公告日期引用 —

From Seeing to Reporting: A Theory of Reliable Visual Set Generation in Vision-Language Models(在新窗口打开)

提出 FSR 理论与推理时协议,在不微调 VLM 下改善计数、检测与 GUI grounding 等视觉报告一致性。

  • 将 reporting 建模为响应→记录→集合→答案链,给出删记录、坐标平均等精确关系
  • 面向计数、检测、版面、屏幕解析与 GUI grounding 的无标签推理程序
  • 合成密集场景与 ScreenSpot-Pro 上显著降低计数误差与 grounding 漏检率
VLMP3 顶级机构清华大学公告日期引用 —

TempoMoE: Identifying and Steering Fast-Slow Thinking Experts for Efficient Multimodal Reasoning(在新窗口打开)

无训练两阶段框架:通过 tempo 对比路由识别快慢专家,按样本难度重分配 top-k 路由以自适应推理深度。

  • 固定输入仅变 reasoning tempo 时路由模式稳定,抑慢/快专家因果影响链长
  • TempoMoE 识别快慢专家并在原 top-k 内按难度重分配权重
  • 在 Kimi-VL、Qwen3-VL、ERNIE-4.5-VL 上提精度并最多减约 35.4% token
VLMP3 顶级机构清华大学公告日期引用 0

Learning When to Trust and Reobserve Sparse-Frame VideoQA from Temporal Sampling Perturbations(在新窗口打开)

PhaseGuard+ 分别估计答案可靠性与 rescue 动作价值,Qwen3-VL-8B 可靠性 AUROC 74.8%,30% 路由大模型达 67.87% 准确率。

  • 在可控时序偏移上探测冻结 VLM,预测 phase-vote 答案可靠性
  • 预测 denser frames 或更强 VLM 的逐例正确性增益并选择性路由
  • 轻量预测器在公开数据上训练,VLM 保持冻结
VLMP3 顶级机构Stanford公告日期引用 0

Joint, Decoupled, or Agent: When Each Multimodal Alignment Paradigm Wins(在新窗口打开)

16 组数据上三范式无全面占优;诊断级联 leave-one-group-out 选胜者约 71.4%。

  • 系统比较 JOINT、DECOUPLED、AGENT 在五域多标注预算下的 mean utility
  • JOINT 在五 QA 数据集全预算领先,高 unimodal 5-NN 更倾向 DECOUPLED
  • 结合几何、表征诊断与元数据的二步级联降低相对 regret
LLMP3 顶级机构清华大学公告日期引用 —

UpLoop: Upcycling Large Language Models with Gated Loop(在新窗口打开)

对已预训练非 loop LLM 做层内局部循环与 residual 门控,UpLoop 在 R=3 时二十项基准平均准确率提升 6.17%。

  • 层-wise 局部循环保留预训练深度结构,减轻特征空间不匹配
  • 在 attention 与 MLP 残差上加 hidden-wise 门控实现渐进 refine
  • 缓解以往 loop 模型在 R=2 饱和的问题并扩展有效循环深度
LLMP3 顶级机构Stanford公告日期引用 0

Distillation, Self-Training, and the Fragility of Learned Chemical Reasoning(在新窗口打开)

Resonance 通过蒸馏开放教师推理轨迹与自训练验证输出,将小模型 bootstrap 为正向反应预测器,并指出准确性与推理鲁棒性可分离。

  • 前沿监督一次性 bootstrap 开放权重模型于正向反应预测
  • Resonance:蒸馏推理轨迹 + 自训练 verified 输出,强学生可仅蒸馏超越教师
  • 强调应同时评测推理鲁棒性:小模型继承单遍风格,易在反驳下放弃正确答案
VLMP3 顶级机构Google DeepMind · MIT公告日期引用 0

SPELUNKA: A Framework for Finding Unanticipated Associations in Vision-Language Models(在新窗口打开)

推理期自动发现 VLM 检索中未预设的虚假关联,四数据集识别强关联 query 平均 AUROC 0.93。

  • 无需标注子群、人工监督或微调,自动生成 caption 并挖掘语义关联
  • 频率规则比较 top 输出与全分布检测过/欠表示的 spurious 关联
  • 恢复合成与自然虚假相关,优于基线关联发现
VLMP3 顶级机构北京大学公告日期引用 —

AVTime: Reinforcing Dense Audio-Visual Captions with Bidirectional Alignment(在新窗口打开)

提出 AVTime-50K 数据集、BiTSA 奖励与 AVTime-Bench,优化密集时序音视频 caption 的语义与时间双向一致。

  • AVTime-50K 提供高时间分辨率、较长视频与精确对齐的 dense caption
  • BiTSA 奖励显式约束时间与事件的双向对齐
  • AVTime-Bench 双向评估事件语义正确性与时间精度
视频生成P3 顶级机构清华大学公告日期引用 —

MotionShift: Environment-Compatible Motion Transfer via Planner-Evaluator Synergistic Adaptation(在新窗口打开)

LLM 规划、VLM 评估迭代适配运动,再作 I2V 条件实现与场景物理兼容的高保真迁移。

  • 规划-评估迭代机制,训练无关地适配参考运动到目标场景
  • LLM 生成轨迹,VLM 依据视觉感知修正运动
  • 可接入现有轨迹条件 I2V 模型扩展运动迁移能力
GUI AgentP3 顶级机构UC Berkeley公告日期引用 —

Comparing Computer Use Behavior Across Multiple Levels of Abstraction(在新窗口打开)

提出 MAP 层次语义表示,在统一词汇下比较人机计算机使用轨迹的差异与模式。

  • MAP 将交互轨迹映射到多层 linked 抽象的共同词汇
  • 支持按序列、模式与 effort 比较并定位差异层级
  • 显示智能体轨迹缺少人类常见的纠错、求助与恢复行为
文生图P3 顶级机构UC Berkeley公告日期引用 —

LEAP: Accelerating ODE-based Diffusion Sampling with Optimal Linear Leaps(在新窗口打开)

依据采样轨迹低维与跨轨迹一致性,局部最小二乘线性跳跃近似未来状态,粗步长下优于通用 ODE 求解并可即插即用。

  • 提出 optimal linear leaps,针对扩散 ODE 采样轨迹几何设计
  • 局部子空间监督最小二乘逼近未来状态,减少模型评估次数
  • 在 SD3.5、FLUX.1-dev 与 TRELLIS.2 等多模态扩散上优于先前加速法
VLMP3 顶级机构清华大学公告日期引用 0

GazeAgent: VLM-Guided Implicit Gaze Calibration from Egocentric Multimodal Behavior for AI Glasses(在新窗口打开)

VLM 从 IMU、gaze 与手部信号识别 PVA 事件并定位伪标定目标,10 人脚本研究中设备扰动下中位 gaze 误差较显式标定降 44.1%。

  • 无需打断用户的连续自适应 gaze 标定框架,由 VLM 验证任务相关 PVA
  • 脚本研究检测全部 820 次预定 PVA 机会;案例研究中自主标定 workload 与打断评分最低
  • 从自然多模态行为推导任务关键目标,支持 egocentric AI 眼镜低负担 gaze 交互