🎬视频生成P1 顶会ICML 2026
基于真实视频构建多场景长 T2V benchmark 与 LoCoT2V-Eval,17 个 LVG 模型显示细粒度对齐与角色一致性仍是主瓶颈。
- 发布 LoCoT2V-Bench,含角色与镜头等行为层级 metadata 的多场景长视频 prompt
- 提出 LoCoT2V-Eval,覆盖感知、文本-视频对齐、时序、动态与 HERD 等多维指标
- 大规模实验揭示 LVG 感知与背景一致性强,细粒度对齐与角色一致性明显偏弱
🎨文生图P1 顶会ICML 2026
训练时条件化多种奖励直接学习用户偏好,替代事后筛图与单奖励对齐,GenEval 与用户偏好指标达 SOTA。
- 提出 MIRO,在预训练/对齐阶段同时条件于多种奖励模型
- 相较默认范式减少信息丢弃,兼顾质量、语义保真与多样性并加速训练
- 在 GenEval 及 PickAScore、ImageReward、HPSv2 上达到 state of the art
💬LLMP1 顶会ACL 2026
LTE 用模型历史错误作 hint 替代外部专家,缓解 RLVR 探索停滞,六个数学 benchmark 上 Pass@1 平均优于 GRPO。
- 提出 LTE,在 RLVR 中提示模型此前自犯错误,无需 off-policy 外部专家解
- 减轻探索停滞,使 LM 能从更多训练题中持续学习
- Qwen3-8B-Base 上 Pass@1 平均 +5.02、Pass@k +9.96,部分优于需外部指导的方法
💬LLMP1 顶会ICLR 2026
SRL 将解题建模为逻辑动作序列,逐步对齐专家动作提供平滑奖励,使小模型学会 SFT/RLVR 难以覆盖的难题。
- 提出 SRL:每步前生成内部推理独白,再与 SFT 专家动作逐步相似度计奖
- rollout 全错时仍能提供学习信号,缓解 SFT 僵化模仿与 RLVR Rare 正确采样
- SRL 初始化后再 RLVR 整体最强,并可泛化到 agentic 软件工程任务
👁️VLMP1 顶会ICLR 2026
MedVLSynther 从开放生物医学文献合成可审计医学 VQA,RL 训练开源 LMM 后在六个医学 benchmark 上优于强医学 LMM。
- 提出 rubric 引导的生成器-验证器框架,按 JSON schema 合成自洽多选题并经多阶段校验
- 发布 MedSynVQA:13087 题、14803 图,覆盖 13 成像模态与 28 解剖区域
- 以可验证奖励 RL 微调开源 LMM,在 VQA-RAD、PathVQA 等 benchmark 上显著提升准确率
🎧音频P1 顶会NeurIPS 2025
利用 ALM 安全对齐捷径学习 SAP 触发推理防护,M-GSM 约束 Mel 扰动,四模型上 ALM 越狱成功率均值约 4.6%。
- 提出首个面向 ALM 的防御框架,用 Shortcut Activation Perturbations 激活安全捷径
- 提出 M-GSM,将扰动限制在对越狱敏感、对良性语音理解不敏感的 Mel 频 bin
- 对已见与未见 ALM 专属越狱攻击均鲁棒,良性 benchmark 效用基本持平
👁️VLMP1 顶会EMNLP 2025
首个真实世界视觉异常 benchmark,支持描述/解释/论证开放任务,SOTA VLM 在异常感知与常识推理上仍明显不足。
- 构建 CAVE 真实世界视觉异常数据集,含 grounding 与认知科学启发的细粒度标注
- 定义异常描述、解释、论证三类开放任务及复杂度、严重程度等分类体系
- 系统评估表明先进 VLM 即使用复杂 prompting 仍难以胜任异常理解
👁️VLMP1 顶会NeurIPS 2025
在 vision encoder 内堆叠时序注意力,在送入 LLM 前建模帧间动作关系,视频 QA 与动作识别 benchmark 最高约 +5.5%。
- 在 vision encoder 内引入 stacked temporal attention,而非仅依赖 LLM 侧时序建模
- 针对动作序列与时序进展理解不足,在编码阶段捕获帧间动态
- 在 VITATECS、MVBench、Video-MME 等任务上优于现有 Video-LLM
👁️VLMP1 顶会ICLR 2026
提出 A-TPT,用角度多样性改善 VLM 测试时 prompt 调优的校准,降低平均校准误差且保持分类精度。
- 提出 A-TPT,在测试时 prompt 调优中引入角度多样性,使归一化文本特征分布更均匀
- 在单位超球面上最大化类间文本特征的最小成对角度距离
- 多骨干与数据集上优于现有 TPT 校准方法,在自然分布偏移与医学数据上零样本校准更好