Virtual Head Attention（在新窗口打开）
VHA 用 Q Premix 与 Linear Postmix 在仅 2 个 KV head 下同时改善 KV 缓存、训练/prefill 算力与质量，推理可折叠为标准 GQA-2。
- Q Premix 在 KV 组内恢复虚拟 head 多样性；Postmix 低秩融合 inter-head 特征
- 无非线性，推理可并入 Q/O 投影，复用 GQA 优化
- 多尺度预训练与工业 MoE 上优于 GQA/MLA，KV 缓存显著压缩
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-16 13:30
2026-10-14 周三共 10 篇：生成 2 · 代码生成 0 · 智能体 0 · 世界模型与具身 2 · 理解 1 · 音频 1 · 基础模型 4
- 生成
- 文生图 1图编辑 1视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0
- 世界模型与具身
- 世界模型 0具身智能 2
- 理解
- VLM 1OCR 0
- 音频
- 音频 1
- 基础模型
- LLM 4统一多模态 0
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 10 篇
QK-Edit: Revisiting Attention-based Injection in MM-DiT for Image and Video Editing（在新窗口打开）
针对 MM-DiT 提出免训练 QK 操纵策略，在 FLUX、HunyuanVideo 等上实现文本引导的图像/视频编辑并平衡 prompt 保真与结构一致。
- 分析 MM-SA 使传统 U-Net 注意力编辑失效，提出 query-key 操纵隔离关键注意力分量
- 推理阶段 feature replacement 即可实现增删换物、背景/材质/颜色/风格等编辑
- 在 FLUX、HunyuanVideo 等 SOTA 上展示优于既有方法的编辑表现
Facts Don't Speak Louder than Words: The Behavioral Essence of Long-CoT Distillation（在新窗口打开）
提出行为假设：Long-CoT 蒸馏核心是推理模式的行为对齐，而非事实记忆；并分析不同损失对简单/复杂 CoT 的作用。
- 提出行为假设：蒸馏本质是结构化推理模式对齐而非事实记忆
- 仅用错误轨迹或窄 prompt 集训练仍接近全量 rejection sampling 效果
- 揭示 probability loss 与 cross-entropy 在简单/复杂 CoT 上的互补作用
Beyond the End-Effector: Learning Whole-Arm Contact Manipulation from Human Demonstrations（在新窗口打开）
WACL 用语义关键点、接触轨迹与 VLM 生成的安全约束，配合准静态接触优化，每任务约 10 次裸手演示即可学习整臂接触。
- 层次框架：场景语义关键点、参考接触轨迹与安全路径约束三类机器人无关表示
- VLM 从任务描述生成末端约束；运动学链仅进入接触优化器做 grounding
- 四任务真实 7-DoF 臂实验：约束下成功率显著优于 link-pose 基线
Where Small Mistakes Matter: Quantifying State Criticality for Imitation Learning（在新窗口打开）
形式化状态关键性并提出 SCRIM，用对抗扰动与价值 critic 为演示重加权 BC，提升操纵任务表现与数据筛选效率。
- 将状态关键性定义为专家动作有界扰动对下游价值的最坏退化
- 提出 SCRIM：对抗扰动策略与价值 critic 估计各状态关键分数
- 重加权 BC 与演示子集筛选，在仿真与真实机器人任务上验证
Unlocking Token Rewards via Training-Free Reward Attribution（在新窗口打开）
免训练从过程奖励模型用梯度估计得到 token 级奖励，单次前反向即可，提升推理 RL 优化效率。
- 提出用零语义 token 替换估计影响的一阶泰勒梯度归因法
- 单次前向与反向即可得到 token 级奖励，无需再训奖励模型
- 在 MathVista、AIME24 等推理基准上优于 outcome reward
MMTA: Benchmarking Multimodal Temporal Analysis with Time Series, Text, and Vision（在新窗口打开）
发布九领域三模态 MMTA 基准，暴露 MLLM 将时序文本化导致的长序列与视觉对齐问题，并提出 TimeOmni-v 改进。
- MMTA：时序+文本+真实视觉的三模态任务与 3524 样本测试划分
- 评测显示时序文本化是共享瓶颈，长视频场景下与视觉细粒度对齐弱
- TimeOmni-v：专用时序编码器、时序位置对齐与 forecasting head
RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions（在新窗口打开）
86M 关系基础模型 RT-J 在少量 in-context 样本下做表/库预测，Join 预训练与 context tuning 显著减少所需示例。
- 构建 Join：639 个爬库与 6023 个 LLM 生成预测任务
- 最长 8192 cell 上下文预训练与轻量 random-walk 检索 in-context 示例
- RelBench 上平均需约 10× 更少样本即可匹配强特征工程+预测器流水线
Physics-Aware Deepfake Detection via Distance-Speech Consistency（在新窗口打开）
利用真实录音中语音能量随说话人-相机距离变化的物理约束，结合视频距离与语音声学特征检测动态场景 talking-head deepfake。
- 提出距离-语音一致性：生成内容可破坏距离与声学能量的耦合
- 视频估计距离并与距离相关声学度量联合用于检测
- 野外基准上有效且可与唇同步检测器集成提升表现
MiniDog: Dog-Breed Text-to-image Flow Matching from Pretraining to Fine-Tuning on 4 Consumer GPUs（在新窗口打开）
在四张 3090 上约 55 分钟预训练、15 分钟微调小型 diffusion transformer 犬种文生图流程与评测。
- 提供 E2E-INVAE、iREPA 等组件下的低算力预训练与微调框架
- 预计算并缓存图文特征以加速训练
- 仓库集成 FID、HPSv2、PickScore 等评测指标
没有符合条件的论文。