前沿论文周报 · 2026 年第 42 周
本周概览
结论先行：具身智能与 LLM 仍占本周主体。VLA 从逐步模仿转向关键状态可达性、人类视频潜在动作预训练与异步 chunk 屏障约束 [1][2][3]；LLM 推理效率由 Virtual Head、DropKV 与图引导层融合共同改善 [4][5][6]；SpecForge 通过行为规格递归自改进提升编码 Agent 表现 [7]。
多模态预训练三模态混合 scaling 获系统结论 [8]；Web Agent 在误导图表上平均成功率可降超 34 个百分点 [9]。音频情感 TTS 偏好优化、环境一致语音编辑与物理感知 deepfake 检测并进；chunk 世界模型用于机器人策略优化 [10]，导航条件 dreaming 接入驾驶 VLA 闭环 [11]。
本周入选 127 篇：P1 顶会 54 · P2 知名作者 0 · P3 顶级机构 73
生成10
- 文生图6
- 图编辑1
- 视频生成2
- 3D 生成1
代码生成1
- Visual2Code0
- 3D2Code1
智能体2
- GUI Agent2
世界模型与具身34
- 世界模型8
- 具身智能26
理解16
- VLM15
- OCR1
音频14
- 音频14
基础模型50
- LLM46
- 统一多模态4
生成
文生图
掩码对齐陷阱与扩散 Token 合并
揭示 masked 文生图 visual exploration trap 并改进 GRPO 对齐；Tweedie 动力学重要性图指导训练无关 token 合并加速生图。
图编辑
视频生成
代码生成
智能体
GUI Agent
误导可视化与任务状态治理
配对 misleading 图表基准暴露 Web Agent 沿误导分支决策；TaskVM 以可编辑任务契约验证状态并标注动作可逆性以支持恢复。
世界模型与具身
世界模型
Chunk 世界模型与部署期规划纠错
Chunk 世界模型作可微评估器优化 value expansion；部署监测 liveness 丢失时用短视界世界模型规划纠错再交还名义策略。
驾驶闭环与规划-执行偏移
导航条件 world model dreaming 辅助冲突感知驾驶 VLA；ExecutionBridge 适配冻结规划器以应对控制器引起的执行语义偏移。
具身智能
VLA 离线后训练与演示利用
离线演示从逐步动作模仿转为关键状态可达性、图重加权与人类干预轨迹，强调偏离演示后的恢复与精细操作，无需额外在线交互或轨迹对比标签。
人类视频与 VLA 表征预训练扩展
egocentric 人类视频上的连续潜在动作监督与统一 VLA 嵌入检索，为策略预训练、上下文学习与跨任务记忆提供可扩展数据与表示路径。
异步 VLA 执行与移动操作示范
Flow VLA 的 chunk 对齐作屏障约束以提升实时异步成功率；开放世界移动抓取强调 agent 接口对齐的主动视觉与空间推理监督。
人形极限运动与四足硬件适配
全尺寸人形高速冲刺与激进过弯依赖因果 MHA 与技能条件 motion prior；四足穿鞋等形态变化通过冻结名义策略与轻量调制恢复 locomotion。
理解
VLM
Ref-AVS 移位与推理预算路由
双 token 与移位感知 refinement 缓解指代音视分割身份漂移；onset 状态路由显示简单查询上长 CoT 未必有益，可按需削减 token。
音视蒸馏、事件描述与 VOS 恢复
交叉注意力音视数据集蒸馏降合成成本；原子视听事件对齐优化视频描述；VLM 双智能体在跟踪失败时验证并恢复传播。
音频
音频
情感 TTS 与环境一致语音编辑
同文本情感对双向偏好优化增强扩散 TTS 可控性；两阶段框架分离韵律内容与源声学上下文，在噪声混响下保持背景一致。
广义 Deepfake 检测与物理一致性
自适应压缩与 mel 域定向扰动统一音频 deepfake 检测；动态 talking-head 利用距离-语音能量物理耦合，可与唇同步检测集成。
语码转换 ASR 与低码率神经 Codec
LLM 引导热词偏置配合 MoE 降低语码转换 MER；Schrödinger Bridge 在冻结 codec latent 间翻译，支撑极低码率宽频重建。
基础模型
LLM
KV 缓存与长上下文推理效率
Virtual Head 在极少 KV head 下恢复多样性；DropKV 解耦残差扰动做驱逐；图引导层融合与 FPoT 量化从结构与算子侧降内存与算力。
编码 Agent 规格与高效多智能体推理
行为规格树搜索递归自改进缓解实体输出耦合；置信度引导自适应辩论仅在非中性 regime 启用 leader-supporter，接近单 Agent token 预算。
CoT 蒸馏、Token 奖励与 Best-of-N
Long-CoT 蒸馏核心是推理模式行为对齐；免训练梯度归因给出 token 级过程奖励；极值理论刻画 Best-of-N 尾竞争与 reward hacking 退化。
预训练爬取与可移植 Agentic RAG
Host 感知 Web 爬取先抽样再高质 host 加深；可移植 Skill 栈在客服场景低人力搭建 agentic RAG，并明确语料与延迟适用边界。
统一多模态
多模态混合 Scaling 与知识探测
MoE 上系统实验给出文本、视觉、音频算力最优混合比与跨模态干扰不对称；KTP 协议探查生成监督能否向纯文本 QA 转移知识。
本周必读
LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos（在新窗口打开）P1 顶会
人类视频连续潜在动作预训练 VLA，真机成功率 63.3%→85.0%，23.3K 小时视频规模效应清晰。
Scaling Laws for Multimodal Data Mixtures（在新窗口打开）P1 顶会
268 组 MoE 实验给出三模态预训练混合 scaling 与跨模态干扰不对称规律。
SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications（在新窗口打开）P1 顶会
SpecForge 行为规格树搜索递归自改进，DevEval+ 多骨干最优，Claude-4.5-Sonnet 求解率 94.9%。
MisVisAgentBench：误导图表使 13 个视觉语言 Web Agent 平均成功率降超 34 个百分点。
Virtual Head Attention（在新窗口打开）P1 顶会
Virtual Head Attention 在 2 KV head 下压缩缓存并提质量，推理可折叠为标准 GQA-2。
DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction（在新窗口打开）P1 顶会
DropKV 解耦残差扰动 KV 驱逐，在摘要所述锥条件下具常数因子近似保证，RULER/LongBench 上优于同类方法。
OGPO 离线目标条件过程奖励提升 VLA 偏离演示轨迹后的恢复与鲁棒性。
MaskSense: Confronting the Visual Exploration Trap in Masked Image Generation（在新窗口打开）P1 顶会
MaskSense 诊断 masked 文生图 visual exploration trap，语义锚定采样改进 GRPO 对齐。
BigCell: Generating Gigapixel Whole-Slide Images（在新窗口打开）P1 顶会
BigCell 原生千兆像素病理全切片 flow-matching 生成，自适应调度加速 3 倍以上。
SafeDriveVLA 导航条件 world model dreaming，提升冲突感知端到端驾驶与语言跟随。
值得关注
BenchmarkMisVisAgentBench（在新窗口打开）
280 实例 clean–misleading 配对 Web Agent 可执行评测与诊断框架。（出处：arXiv:2610.12823）
BenchmarkAnyEditBench（在新窗口打开）
语音与歌声统一编辑基准，强调真实环境声学一致性。（出处：arXiv:2610.15665）
草图、文本与参数化 CAD 代码对齐的大规模 Intent-to-CAD 数据。（出处：arXiv:2610.15681）
BenchmarkPhyMetric（在新窗口打开）
1115 场景、8920 道场景级二值 QA，诊断 T2V 物理合理性。（出处：arXiv:2610.19823）
数据集RPD（在新窗口打开）
页级统一文档解析，含 OCR、阅读序与视觉元素 alt 描述。（出处：arXiv:2610.20335）
BenchmarkMMTA（在新窗口打开）
九领域时序+文本+视觉三模态时序分析基准。（出处：arXiv:2610.17856）
掩码文生图 GRPO 对齐与 visual exploration trap 分析。（出处：arXiv:2610.17009）
开源项目DaTMe（在新窗口打开）
训练无关扩散 token 合并加速，Tweedie 动力学重要性图。（出处：arXiv:2610.22370）
参考来源
- [1]OGPO: Offline Goal-conditioned Policy Optimization for Recoverable Vision-Language-Action Models（在新窗口打开）↩
- [2]LAPT-Scale: Scaling Embodied Policies with Latent Action Pre-Training on Human Videos（在新窗口打开）↩
- [3]Barrier-Constrained Guidance For Real-time Asynchronous VLA Execution（在新窗口打开）↩
- [4]Virtual Head Attention（在新窗口打开）↩
- [5]DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction（在新窗口打开）↩
- [6]Beyond Adjacent Layers: Graph-Guided Layer Fusion for Compressing Large Language Models（在新窗口打开）↩
- [7]SpecForge: Recursive Self-Improvement for Coding Agents via Behavioral Specifications（在新窗口打开）↩
- [8]Scaling Laws for Multimodal Data Mixtures（在新窗口打开）↩
- [9]When Charts Deceive Web Agents: A Paired Benchmark for Misleading Visualization-Grounded Tasks（在新窗口打开）↩
- [10]Chunk-wise Model-based Policy Optimization（在新窗口打开）↩
- [11]SafeDriveVLA: Navigation-Conditioned World Model Dreaming for Conflict-Aware End-to-End Autonomous Driving（在新窗口打开）↩
- [12]Graph-Reweighted Behavior Cloning with Human Interventions for Precise Robotic Manipulation（在新窗口打开）↩
- [13]Where Small Mistakes Matter: Quantifying State Criticality for Imitation Learning（在新窗口打开）↩
- [14]Robota-Embed: Unified VLA Embeddings for Robot In-Context Learning and Evolution（在新窗口打开）↩
- [15]Look Before You Move: Agent-Interface-Aligned Supervision for Open-World Mobile Manipulation（在新窗口打开）↩
- [16]Push the Limit: Learning High-Speed Sprinting and Aggressive Cornering on a Full-Scale Humanoid（在新窗口打开）↩
- [17]SHOES: Sim-to-real Hardware-adaptation via On-policy Expansion of Skills for Legged Robots（在新窗口打开）↩
- [18]Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference（在新窗口打开）↩
- [19]Efficient Multi-Agent Reasoning via Confidence-Guided Adaptive Debate（在新窗口打开）↩
- [20]Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation（在新窗口打开）↩
- [21]Unlocking Token Rewards via Training-Free Reward Attribution（在新窗口打开）↩
- [22]Tail Competition Explains Scaling in Best-of-N Sampling for Verifiable Problems（在新窗口打开）↩
- [23]Host-Aware Web Crawling for LLM Pretraining Data（在新窗口打开）↩
- [24]Frustratingly Easy Agentic RAG via Portable Skills: A Case Study in Customer Support（在新窗口打开）↩
- [25]Emo-BPO: Emotion Bidirectional Preference Optimization for Diffusion-based Emotional TTS（在新窗口打开）↩
- [26]AnyEdit: A Unified Framework for Speech and Singing Voice Editing with Real-World Environmental Consistency（在新窗口打开）↩
- [27]Adaptive Compression and Targeted Perturbation: A Unified Framework for Generalized Audio Deepfake Detection（在新窗口打开）↩
- [28]Physics-Aware Deepfake Detection via Distance-Speech Consistency（在新窗口打开）↩
- [29]LLM-HB: Language-Aware LLM-Guided Hotword Biasing for Code-Switching ASR（在新窗口打开）↩
- [30]BridgeCodec: Mamba Enhanced Neural Audio Codec with Schrödinger Bridge at Low Bitrate（在新窗口打开）↩
- [31]Shift-Aware Identity-Guided Latent Refinement for Referring Audio--Visual Segmentation（在新窗口打开）↩
- [32]To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation（在新窗口打开）↩
- [33]X-AVDD: Cross-Attentive Audio-Visual Dataset Distillation（在新窗口打开）↩
- [34]EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment（在新窗口打开）↩
- [35]When Trackers Fail: VLM-Guided Verification and Recovery for Robust Video Object Segmentation（在新窗口打开）↩
- [36]Back on Track: Deployment-time Policy Improvement via World Model Planning（在新窗口打开）↩
- [37]Plans Are Not Executions: Adapting Frozen World-Model Planners to Controller-Induced Execution Shift（在新窗口打开）↩
- [38]MaskSense: Confronting the Visual Exploration Trap in Masked Image Generation（在新窗口打开）↩
- [39]Which Tokens to Merge? Diffusion Dynamics for Efficient Image Generation（在新窗口打开）↩
- [40]Task-State Governance: A Virtual Machine for Verifiable and Recoverable GUI Agent Execution（在新窗口打开）↩
- [41]Can Visual Generation Expand What Unified Multimodal Models Know?（在新窗口打开）↩
- [42]Read, Parse, Describe: Unified Document Parsing with Visual Element Description Generation（在新窗口打开）↩
- [43]Rethinking Human Intent-to-CAD: Parametric CAD Model Generation via Cooperative Multi-Task Alignment and Spatial-Aware Reinforcement Learning（在新窗口打开）↩
- [44]QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing（在新窗口打开）↩
- [45]PhyMetric: Diagnosing Physical Plausibility in Text-to-Video Generation via Scene-Level QA（在新窗口打开）↩
- [46]SceneAE: Scene Generation and Reconstruction in Queryable 3D-Anchored Latent Space（在新窗口打开）↩
- [47]BigCell: Generating Gigapixel Whole-Slide Images（在新窗口打开）↩
- [48]MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision（在新窗口打开）↩