💬LLMP1 顶会ICML 2026
系统研究 layer dropout 在 LLM 预训练中的最佳实践,同 FLOPs 更低 loss,并支持推理加速。
- 给出 layer dropout 的层分布、时间表与优化器超参最佳实践及 scaling 分析
- 同训练 FLOPs 下 loss 更低;固定步数下可节省至多约25%训练 FLOPs
- 支持 early exit、层跳过与 self-speculative decoding 等后训练加速
💬LLMP1 顶会EMNLP 2026
分析 CoT 中不同推理操作在隐藏表示中的几何结构,证实其与语言表述存在内部对应关系。
- 发现推理操作在留出表示中可分离,且 separability 在中间层最强
- 排除词法与位置混淆后仍成立,并分析层间操作对齐与注意力干预
- 表明模型在表示空间维护推理表达与几何结构的对应
🦾具身智能P1 顶会EMNLP 2026
发布大规模 RoboSPA 数据集与基准,诊断 VLA 在细粒度空间推理与长视界程序规划上的能力缺口。
- RoboSPA 覆盖10类56基任务、五档难度共280变体与大量多本体轨迹
- 引入细粒度空间推理与长视界程序规划两维诊断指标
- 实验显示现有 VLA 在复杂空间关系、低层执行与记忆型规划上仍困难
👁️VLMP1 顶会ECCV 2026
IVSGround 学习查询条件化的关键视角选择,配合冻结推理 VLM 比较定位,提升零样本三维 grounding。
- 提出可学习的影响视角选择,替代固定启发式选视角
- 用两阶段拒绝采样从推理 VLM 反馈生成训练信号
- 在 ScanRefer 与 NR3D 上较现有零样本流程 consistently 提升定位准确率
💬LLMP1 顶会EMNLP 2026
PTA 在 proposer-verifier 框架下加入回合级提交,工具调用经教师验证后再执行,改善蒸馏后 RL 表现。
- 提出 Persistent Teacher Anchoring:学生诱导、教师承诺的 rollout 构造
- 整回合验证通过后才允许工具调用进入环境,并引入 persistent lookahead
- 在 Search-R1 与 DeepEyes 式 RL 前应用 PTA,同预算下 macro best@4 优于 OPKD
💬LLMP1 顶会EMNLP 2026
发布 KOPA-Bench 与 EDGE live API 执行 grounded 多步轨迹合成,GRPO 微调 9B 接近未微调 27B。
- KOPA-Bench 含145个真实政府开放 API 多步任务
- EDGE 基于 live 执行验证的工具输出图合成可执行多步轨迹
- 微调模型在 KOPA-Bench 与 BFCL 上显著提升
🦾具身智能P1 顶会NeurIPS 2026
LTE 用语言描述、空间锚点与视觉锚点压缩物体运动史,在 Spatial Memory Benchmark 上优于结构化记忆与 VLM 基线。
- 提出 Linguistic Trajectory Encoding,使物体状态转移可用自然语言查询
- 从 EgoLife 构建 Spatial Memory Benchmark,评测语义轨迹与长时域物体检索
- 在 SMB 与 Ego4D 查询任务上超过既有 structured-memory 与 VLM 方法
🎨文生图P1 顶会ICML 2026
分析 SJD 在自回归文生图中的 token 歧义成因,提出语义子序列级验证的 SJD-SV,可即插即用并显著加速。
- 通过可视化指出视觉 token 偏局部细节,单 token 难以表达语义,导致 SJD 验证歧义
- 提出 SJD-SV:利用 token 间纠错关系识别语义子序列,在子序列级而非逐 token 验证
- 方法可接入现有 SJD 及其变体,多数据集实验显示集成后性能显著提升
💬LLMP1 顶会EMNLP 2026
发布英俄哈三语口语对话事实核查大规模基准,含配对语音与转写,揭示ASR与跨语言迁移难点。
- 构建近390小时配对音频的三语口语对话事实核查基准
- 支持可核查性检测、证据检索与多种证据设定下的声明验证
- 基线显示ASR退化与跨语言迁移仍难,检索证据可缩小与金标准证据差距