提出 Prism Attention,用粗到细跨层稀疏索引共享,在 128K 上下文解码上相对 FlashAttention 约 3.4× 加速。
- 发现层间显著 token 偏移高度局部,核心高注意力 token 跨层稳定
- 以 proposal-refined 策略替代静态跨层索引复用,兼顾效率与层特异性
- 在推理与长上下文基准上达到主流稀疏注意力方法的 SOTA
PPMem 以平面基元作紧凑持久 3D 记忆,联合生成视频与几何,长序列大视角仍保持连贯。
- 平面基元记忆较逐像素点云紧凑约三个数量级且可导出度量几何
- 平面预测头与 DTF 模块自回归块联合输出 RGB 与平面并融合为持久记忆
- 渲染深度条件后续块,在 DL3DV 与 RealEstate10K 上优于 prior 3D-grounded 世界模型
提出 DiffAQ,按帧间激活变化分配 Hessian 权重,在 2–3 bit 下改进 Whisper 类 ASR 的 PTQ。
- 指出稳态与零填充帧在 PTQ 校准时压制音素边界信息的问题
- DiffAQ 作为无训练 GPTQ 修改,按声学变化率为关键帧集中量化精度
- 多规模 Whisper 与标准基准上 consistently 降低 WER,2 bit 增益最大
提出 COMET,用冻结教师、三亲和蒸馏与专家路由分离解决 VLM 持续学习中的模态漂移与容量问题。
- 指出持续 VLM 除稳定性—可塑性外还有模态一致漂移、表示干扰与容量不足三类耦合压力
- Tri-Affinity 蒸馏与 Student-Aware 跨专家蒸馏保持多模态几何并协调新旧专家
- 上下文 bandit 与重建路由器分离容量管理与测试时稀疏专家选择
用嵌套超网络按任务生成 action-expert 参数,后验整合异构任务技能,优于模型合并并接近逐任务微调。
- 以参数生成替代参数聚合,冻结 base VLA 上合成任务自适应 action-expert
- 保留任务特定压缩 VLM residual,减轻多任务干扰
- 在 MetaWorld、ManiSkill、CALVIN 上显著优于最强 model-merging baseline
微调 T2I 扩散子层得单流 DeltaControl,再步蒸馏为 FlashControl,一步完成空间条件可控生成。
- 避免 ControlNet 式双分支,在原文生图模型上微调子集层实现可控生成
- DeltaControl 单流多步模型性能对标双分支可控方案
- 步蒸馏得到 FlashControl,单次前向实现空间可控生成
提出 ANCHOR 基准,评测 MLLM 推理是否与视觉区域、时间段及音频证据对齐。
- 含结构化推理轨迹、时间证据、空间框与显著音频 cue 的音视频 QA 数据
- 分别度量答案正确性、幻觉、逻辑偏离与简洁性,并做时空 grounding
- 揭示仅看答案会掩盖 grounding 失败,模态消融显示视频影响最大
TIDER 用 RL 训练的时间区间定位器约束检索窗口,在 LifeBench 与 LoCoMo 取得更高准确率。
- 强调检索阶段缺少时间约束是语义相近但时间错位证据挤占目标的根因
- RL 优化离散时间窗口定位,将稀疏答案监督转为细粒度检索反馈
- 时序通道与语义通道合并重排,1.7B 定位器即达 SOTA
BEST 两阶段框架用层次中间表示与紧凑语音解码器做神经到文本,低参数量在 Brain-to-Text 上取得 competitive WER。
- 提出 BEST(Brain-Encoding-Speech-Text),以紧凑 decoder 直接映射神经活动到文本
- 揭示 decoder scaling 非单调、跨模态对齐比模型尺寸更关键、过拟合损害序列级表现
- 在 Brain-to-Text '24/'25 上以约 3.85% 参数量达到 reported WER
HMC 以 Hilbert 曲线与多重分形维作全局条件注入扩散,ShapeNet 上优于 TopoDiT-3D。
- 多尺度体素度量经 3D Hilbert 序列化,估计广义分形维并编码为全局/多尺度 token
- 瓶颈融合模块将 HMC 信号注入条件扩散去噪器
- ShapeNet 三类上 1-NNA 绝对偏差最多降 8.90 点,coverage 最多升 5.88 点
仅用关节本体感知训练盲装配策略,仿真 RL 学习 peg 插入等任务,零样本实机 peg 插入成功率 73%。
- 证明仅关节位置/速度/动作历史即可学习接触丰富的精密装配
- peg 插入、齿轮啮合、螺纹等策略在随机位姿与抓取下于仿真中训练
- 开源 MuJoCo 程序化装配生成器,支持精确凸体碰撞与多样 clearance
用特权多图教师蒸馏压缩文本历史,部署无需存截图即可提升长程 GUI 任务与记忆保真。
- CTA 格式递归更新文本历史,训练时用特权信息指导压缩与推理
- PMF Gap 引导的 OPD-RL 平衡蒸馏与任务奖励,并引入 ECHOESBMK 诊断基准
- 四组 GUI 基准上显著提升,零样本迁移至未见视觉规划任务
MIST 分离场景设定、指令执行与结果揭示;M3-Agent 改写指令显著提升执行与记忆评测分数。
- MIST 评测在控制泄漏下分离“是否执行变化”与“是否记住结果”
- 指出瓶颈常在于未执行指令而非遗忘,泛化至一般记忆评测
- M3-Agent 递归修订指令细节,MIST reveal 相对基线提升至三倍余
用轻量 embodiment 分类器梯度引导冻结 π₀ 去噪,LIBERO 上平均成功率由 72% 提至 80%。
- 少量标定任务训练分类器区分源/目标机体成功动作块,无需微调 VLA
- 每步去噪沿分类器梯度将动作分布从源机体推向目标机体
- 12 组 suite-controller 中 11 组提升,目标侧 rollout 数据需求低,利于 sim-to-real
固定任务、变化提问人设,显示 CUA 在个性化表述下任务完成率平均下降约 36%。
- 44 种 persona 改写 74 项跨 11 领域任务指令并模拟对话,CUA 不见画像
- 区分执行错误与用户要求中止等导致失分,并度量完成后的用户满意度
- 主张除任务完成外还需评估是否满足用户表达的需求与约束
闭环 VLM–WAM 框架以语义子任务进度统一规划、动作融合与世界建模,RoboTwin 与真机长程任务 SOTA 级表现。
- LAW agent 用 hybrid-expert VLM 规划子任务并融合 WAM 动作提案与异步执行评估
- WAM 侧 Mixture-of-Transformer Experts 联合 video–action 与双流层次视觉记忆
- RoboTwin 50 任务平均成功率 94.21%,真机长程任务显著优于对比方法
在单一 VLM 内内化 plan-perceive-compose,无需外部空间工具完成自我中心视频空间推理。
- Dual-LoRA 训练 Planner/Perception 教师,MoE 学生在其监督下微调
- 段级 MOPD 蒸馏:Planner 监督证据问题与答案组合,Perception 监督视频 grounded 回答
- 在 Qwen3-VL-8B/SenseNova 上平均提升 9.2/7.5 点,推理 FLOPs 约降 66%
针对遥感推理分割中 [SEG] 空间信息衰减,用预期先验与位置感知 CoT 强化定位。
- 预期先验机制将 [SEG] 提前注入查询,作为持续空间锚点
- Location-aware CoT 结合框级由粗到细定位与 PTA 损失对齐纹理
- 在 Earthreason 与 RRSIS-D 上 consistently 优于现有方法
基于 SEER 构建 SEER-Repro 基准与 LLM Agent,自动复现论文结论并筛查分析选择的稳健性风险。
- 发布 SEER-Repro:20 篇 SEER 论文及复现所需数据与资源
- Agent 对 2190 条原子声明复现率达 77.4%,并提供可执行基线
- Agentic 流水线识别复现结论中 9.5% 存在潜在关键分析选择并供专家审查
提出事件级 STVG 任务与大规模基准,揭示当前 MLLM 在长时重复事件与多角色联合定位上仍很困难。
- 将 STVG 从实例描述定位扩展为长上下文、重复事件与角色推理的统一任务
- 构建含 4016 次事件标注的多领域基准,最强模型在 10 分钟尺度 m-vIoU 仅 5.4%
- 系统分析重复事件混淆、空间瓶颈与多目标联合 grounding 失败模式
Agent 长上下文下复用目标模型隐状态做局部 speculative 预测,缓解草稿接受率骤降与 KV 开销。
- 指出不断增长的历史上下文同时拖累接受长度与 KV 缓存开销
- 无历史框架加轻量序列头,在目标模型隐状态上局部 speculative 预测
- 两阶段训练策略,接受长度约 2–6 倍并最高优于 DSpark 约 70%
发布 SABER 全模态配对绑定基准,仅用合成文本微调 MLLM 嵌入器即显著改善检索与绑定。
- SABER 覆盖四种图文配对、多样属性与最多十物体场景的受控绑定评测
- 揭示 CLIP 式双编码器与 MLLM 嵌入器存在显著绑定失败
- 纯文本绑定监督微调可迁移至跨模态与图–图检索且保持通用嵌入性能
LEMON 用 GNN 处理 attention maps,在对称变换下预测不变,零样本跨模型监测幻觉与 jailbreak。
- 将跨模型 attention 头序/深度差异刻画为代数对称,保证监测预测等变/不变
- 逐 token 在线输出 misbehavior 分数,额外成本可忽略
- 16 个 LLM、六数据集零样本设置下 ROC-AUC 较最强基线最多高 14 点
局部 VLN 基准变机器人宽度评估可通行性;模型 BEV 障碍膨胀编码体型,碰撞-free 成功率约升 12 点。
- 固定场景/指令/路线、变 body width:可行则完成,阻塞则停止
- 深度 BEV 障碍膨胀融合几何与视觉语言,预测离散 latent 动作闭环执行
- 未见体宽泛化;接高层规划更少局部指令;真机部署验证低层执行有效
从人类 egocentric 视频学习视觉—触觉先验并迁移到机器人手,为策略提供预测触觉输入。
- 融合时序场景与手部局部视觉特征,从 RGB 推断双手触觉场
- 解剖区域对应将不同机器人触觉布局对齐到规范网格以便微调
- 预测触觉用于仿真 RL 与真机后训练,部分恢复真触觉收益
在 MDM 掩码调度上增加可重写 proposal 与 lookahead 更新,SFT 后在多基准平均显著提升。
- 理论对比 MDM 易优化与 UDM 高表达性的权衡
- Lookahead Editing 在提交 token 前迭代 refine proposal,保留 MDM 转移调度
- 基于 Qwen 微调 LED-7B/8B,八项基准上 MDM SFT 平均明显提升
SPLIT 用经验 Bayes 拟合 imperfect verifier 下提交正确答案的概率,从小规模 pilot 规划采样与验证算力分配。
- 给出考虑接受/拒绝与 top-score 选择的正确提交概率闭式公式
- SPLIT 在 pilot 上拟合并用于未见任务的预算规划
- 跨多 benchmark、模型、agent 与六类真实 verifier,分配接近事后最优
首个移动 agent 多模态注入安全基准 MobileInject,揭示广泛脆弱性与早期 reasoning hijacking。
- MobileInject 覆盖 11 场景、9 类风险与 108 可执行风险实例的高保真移动评测框架
- 提出 Cross-Modal Consistency Injection 及两种增强攻击与推理安全诊断框架
- 系统实验表明移动 agent 对多模态注入普遍脆弱
将 FOUND-IT 单目 3D 场景图接入移动操作平台,实机验证建图、导航与场景重排抓取。
- 把 foundation model 驱动的 3D 场景图集成完整移动操作自主管线
- 支持物体变更检测、多会话建图、可通行路径与抓取重排等目标
- 实机实验给出单目 3D 场景图系统的有效性与局限分析
MFM 用五类记忆与可检索文本串联多模态经历,提升长程 Minecraft 与电脑操作任务表现。
- episodic/spatial/semantic/procedural/working 互补存储,文本可检索并回溯原始观测
- consolidation 将经历转为高层知识并保留对原情节引用
- Mine Diamond、Ender Dragon、CUABench-KiCad 上优于无持久记忆与强基线
Self-HPO 交替优化 harness 与 policy,策略分析失败并提出 harness,再在 harness 下 RL 更新。
- H 步:当前 policy 分析失败并提出 harness 候选;P 步:在选定 harness 下 RL 更新 policy
- 训练中的难例构成下一轮 harness 搜索,针对 evolving failure modes
- Qwen3.5-35B-A3B resolve rate 57.8%→64.8%,联合优化增益超过单独之和
构建 Savanna 难检索基准与 Locate-Corroborate-Isolate 范式,Ranger-8B 在 wild 设定下提升参考检索与生成质量。
- 定义 Image Generation in the Wild 并建自动化 pipeline 构造高混淆自然请求
- 发布 Savanna(500 prompts)及 Locate-Corroborate-Isolate 检索验证隔离参考范式
- Ranger-8B 在搜索分与多生成器配套上优于 frontier harness 与其它 agentic 方法
构建遥感洪水多模态基准与 FloodVLM-Pix,提升洪水语义描述与像素级分割表现。
- 首个支持语言级理解与像素级分割的大规模遥感洪水多模态基准
- 洪水先验模块蒸馏子区域空间先验,缓解洪水语言理解注意力偏置
- 多时相像素解码器采用通用-特定特征融合,减轻云与阴影等干扰
提出 Jarvis 协调框架,在双脑全双工语音交互中判读在途任务并防 stale 决策,tau-Voice 成功率显著提升。
- 提出 JEV 类型化决策模型与代码校验的协调 harness,前后端共享任务视图
- Jarvis-Audio 适配多种全双工语音前端;Jarvis-Omni 加入视觉证据复检
- 固定前后端模型下替换为 Jarvis 可使 tau-Voice 任务成功数从 29 增至 192
用失败与成功执行证据做程序修订与选择性行为认证,在 LIBERO-PRO 与 Robosuite 上优于强基线。
- 前沿引导程序搜索在共享诊断图上标注执行证据,区分进展与未通过检查
- 有状态 API 回放做选择性认证,检验编辑是否保留历史成功行为
- 仿真与真实任务中成功率优于最强基线,并公开代码
系统比较预训练与 SFT 间 AdamW/Muon 切换,发现最终性能主要由各阶段优化器独立决定,后训练可 largely 独立于预训练选择。
- 1.2B Llama-3 从零预训练与继续预训练/SFT 中插值两种优化器比例
- 未见显著 optimizer mismatch 惩罚,SFT 中 Muon 比例越高下游往往越好
- Llama/Qwen 至 14B 任务通用 SFT 上 Muon 与 AdamW 预训练模型仍具竞争力
ReRankID 测试仅用 SID 推理重排;后训练可激发行为,8B 模型可匹配约 20× 更长 prompt 的文本 LLM。
- 可控 testbed:历史与 slate 仅 SID,分别变渲染、历史长度与 slate 规模
- SFT、拒绝采样、on-policy 蒸馏、verifier RL 等后训练可激发 SID-only 重排
- 分级排序奖励 8B 模型 SID-only 最优;长历史优于 caption 参考,物品描述准确性较弱
形式化 Agentic ICL,证明 Transformer 可近似主动学习、bandit 与在线 RL 等交互学习算法。
- 用状态、更新与决策规则刻画交互学习者,涵盖主动学习、bandit 与在线 RL
- 构造因果 Transformer 近似有限 horizon 算法并界定回报损失上界
- 蒸馏与 outcome/process reward 后训练显示不同奖励学到不同决策策略
无训练框架用 LLM 成对评判演化轨迹筛选规则,提升 coding agent 的 SFT 数据质量与下游 SWE 表现。
- 提出 MetaCurate:用筛选排序与法官偏好分歧驱动规则、量表与聚合策略联合修订
- 从空白筛选器自主发现 curation 策略,无需任务特定手写标准
- 在轨迹池与 Nemotron v3 SWE 上 SFT 验证,SWE-Verified 均值优于手写规则与更高成本训练环 baseline
将多机协同表示为 motor skill 上的可执行代码,Verifier Guided Coordination Evolution 在物理验证下修订协同。
- CoEvolve 用多模态基础模型实例化 motion primitive、语义目标与角色等协同代码
- 物理验证拒绝行为触发从 checkpoint 的结构化协同修订并保留经验
- 双 Unitree G1 搬运任务中多 backbone 实现端到端成功与可验证放置
Heuresis 匿名模拟数据区分算法选择与细看数据的增益;Sol 等 agent 在最难族上 adjacency F1 超最佳算法 14%。
- 匿名数据集 benchmark,机制从线性高斯到重尾,追踪 agent 修改的每条边
- 每族分离算法上限与仅依赖数据审查可获得的额外增益
- GPT-6.1 Sol/Claude Opus 5.5/Qwen 3.8 Flash 实例化;部分恢复边不出于任何算法输出
以 Claude Code 插件 harness 让编码 LLM 调参、监控与修复 Brieflow 筛选流水线,五组实验中提高单基因 confidently 细胞数。
- Brieflow-auto 将领域流水线包装为可交互 notebook 调参与执行监控 harness
- 自动校验配置、常见失败恢复与输出质检,缺陷时提交上游兼容修复
- 五组已分析筛选中 harness 运行获得更多 confident 单基因分配细胞
文本控制 3D 网格多粒度部件分割,VLM 建数据与推理规划,原生 3D 部件场显著优于基线。
- holistic 控制提示统一语义部件名与位置、形状子句
- VLM 流水线自动构建多粒度分区与提示的大规模数据集
- 原生 3D 部件 ID 场与随机背景丢弃训练,推理 VLM 可补全描述子句