DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction（在新窗口打开）
DropKV 将联合驱逐解耦为逐 token 打分，在长上下文 LLM 上兼顾理论近似保证与推理加速。
- 提出基于解耦残差输出扰动的 KV 驱逐框架 DropKV
- 在锥条件下给出常数因子近似保证并验证于三种长上下文 LLM
- 融合 Triton 实现显著加速，RULER/LongBench 上优于同类驱逐方法
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-16 13:30
2026-10-16 周五共 42 篇：生成 2 · 代码生成 0 · 智能体 0 · 世界模型与具身 8 · 理解 9 · 音频 2 · 基础模型 21
- 生成
- 文生图 2图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0
- 世界模型与具身
- 世界模型 2具身智能 6
- 理解
- VLM 9OCR 0
- 音频
- 音频 2
- 基础模型
- LLM 18统一多模态 3
本页要点由 AI 根据论文摘要生成，以原文为准。
共 42 篇
MSP: Modality Self-Play for Training Multimodal LLMs Without Paired Cross-Modal Data（在新窗口打开）
用锚模态与代理文本桥接互补模态，训练期无真实非文本配对亦可零样本跨模态组合推理。
- 提出 Modality Self-Play 与代理介导的模态组合训练框架
- 学习桥接将代理描述编码与观测模态对齐，替代真实跨模态监督
- 多模态基准上达 SOTA 或具竞争力，消融验证桥接与代理描述
To Think or Not to Think: Pre-Decisional Reasoning Budgets for Referring Audio-Visual Segmentation（在新窗口打开）
Ref-AVS 中长 CoT 并非总有益；利用首个 token 前 onset 状态路由推理需求可减约 60% token 且保留约 96% 性能。
- 揭示简单查询上的 overthinking 陷阱及 phrase/localization drift
- 五折 OOF 构造反事实推理预算标签并线性探针预测是否需要推理
- Onset-state 路由器作轻量单前向路由，优于置信度路由并接近 Short-then-Decide
Progress Reward Model for Reinforcement Learning via Large Language Models（在新窗口打开）
PRM4RL 用 LLM 分解子任务并构造进度函数生成稠密奖励，在机器人控制 RL 上优于既有 LLM 规划与奖励方法。
- 高层子任务分解与细粒度进度函数监控执行进度
- 基于 potential-based shaping 的 Progress Reward Model，具最优性与收敛保证
- 机器人控制实验上整合规划与稠密奖励，表现优于对比方法
Which Tokens to Merge? Diffusion Dynamics for Efficient Image Generation（在新窗口打开）
提出训练无关 DaTMe，用 Tweedie 去噪估计构建动力学重要性图，自适应合并 token 加速扩散生图。
- 从时序变化与高频结构信号构造动力学感知重要性图
- 重要 token 作锚点，时序稳定且结构同质 token 作为安全合并候选
- 在 PixArt-a 与 FLUX 上在压缩比下保持全图视觉保真
EVA-Cap: Optimizing Audiovisual Video Captioning via Event-Centric Alignment（在新窗口打开）
EVA-Cap 将描述分解为原子视听事件并对齐训练，事件级评测显著优于现有方法。
- 提出事件中心框架，将非结构化监督转为原子视听事件对齐
- 自建 EVA-Data 并用 SFT 与 GRPO 优化三类事件对齐目标
- ChronusAV 等事件评测大幅提升，通用音视频描述基准亦有增益
Fractional Power-of-Two Quantization for Efficient and Effective Multiplier-Free LLM Inference（在新窗口打开）
FPoT 采用 base-√2 权重网格实现 4bit shift-add 推理，Llama-3-8B 上相对 PoT 零样本常识推理相对提升 8.72%。
- 提出 Fractional PoT，在粗 PoT 网格下保持实用 4bit 权重量化
- 校准期网格对齐与轻量 √2 近似误差吸收进静态 per-channel scale
- 可集成 SOTA PTQ，跨七模型三 bit 宽验证并接近均匀整数量化基线
Intern Lumina U2: A Multi-Codebook Diffusion Large Language Model for Omni-Visual Understanding and Image Generation（在新窗口打开）
离散多码本视觉 token 的扩散语言模型，单 backbone 支持理解、生成与编辑并加速采样 4.45×。
- 全离散空间多码本视觉表示，与文本建模兼容且容量更高
- 基于 AToken 统一 4D 表示，支持图像、视频、3D 输入
- 稳定性感知采样与跨 Ascend/NVIDIA 全栈训练推理评测体系
Multi-Teacher On-Policy Distillation for Flow-Based Vision-Language-Action Models（在新窗口打开）
两层 on-policy 蒸馏在环境交互与 action flow 轨迹上联合多域教师，单学生在 LIBERO、CALVIN、Meta-World 上大幅提成功率。
- 学生驱动交互加 flow 轨迹上教师 velocity 监督的两层 OPD 框架
- 冻结多域专家联合监督单一学生并迭代采集新轨迹
- Velocity Loss OPD 相对 SFT 与 Action Loss OPD 在三大基准集上显著增益
What Should Robot Policies Learn to Predict? Rethinking Supervision Targets in Vision-Language-Action Learning（在新窗口打开）
固定预算下用样本路由在动作预测与 LA/FV 辅助目标间分配监督，LIBERO、CALVIN 与真机任务上优于纯动作训练。
- MMDiT 两流架构加样本级路由，使监督分配可显式控制
- 在相同预算下合适 LA/FV 可优于动作独占，FV 总体强于 LA
- 诊断显示 DINO 类 LA 侧重相对运动，FV 侧重绝对位置与任务身份
ReasonUni: Reasoning-Augmented Reconstruction Advances Unified Multimodal Models（在新窗口打开）
在编辑指令下先推理目标状态再生成图像，用 TreeGRPO 统一优化理解与生成模块。
- ReasonUni：重建式后训练扩展至结构、意图与变换的推理监督
- TreeGRPO：多推理路径与候选图采样并聚合视觉奖励
- 多基准上理解与生成一致提升，体现推理增强重建的互惠增益
VisualTrust: Video Reasoning under On-Screen Claim Framing（在新窗口打开）
误导性屏上主张使模型均值准确率从 90.1% 降至 51.9%；DEAR 在误导条件下显著提升视频问答准确率。
- 研究 claim deference 并发布 VisualTrust 反事实基准（5063 例）
- 揭示无主张高准确率不能保证抗误导屏上主张
- DEAR 解耦证据仲裁与阅读，降低 trap 选项选择并保留无主张表现
FeaTok: Feature-Loss Tokenization for Image Generation（在新窗口打开）
用预训练特征重建训练离散 token（FeaTok），提升类条件与文生图生成质量并降低采样算力需求。
- 提出 feature-loss tokenization，以特征重建替代像素重建训练 tokenizer
- 类条件 256×256 上 gFD 相对强离散基线最多降约 29%，采样算力显著低于 RAEv2
- 无需 reward 训练即获更高 human-preference 分，少量微调后在文生图基准超连续/离散基线
MagiC: Evaluating Multimodal Cognition Toward Grounded Visual Reasoning（在新窗口打开）
提出 MagiC 基准，从答案、推理、视觉 grounding 与自纠四维度评测 15 个 VLM 的 grounded 推理能力。
- 构建含弱监督与人工细标注的 grounded 多模态认知基准
- 提出 MagiScore、StepSense 等指标并含对抗与自纠诊断设置
- 系统评测 7B–70B VLM 并分析 grounded 视觉推理的局限
Sci$Π$vot: Benchmarking Principal-Investigator Judgment at Pivotal Moments of Scientific AutoResearch Agents（在新窗口打开）
基于六个月人类纠错构建 248 例基准，前沿模型在多数设置下更倾向原 LLM 计划且准确率常低于随机。
- 从六领域 26 项目 senior 干预记录构建 SciΠvot 判断基准
- 任务为仅凭纠错前项目记录在原计划与人类修正间二选一
- 比较推理强度、项目记录与重新考虑对人与模型表现的影响
AdaLoop: Thinking with the Vision Encoder（在新窗口打开）
提出问题条件的视觉循环框架 AdaLoop，冻结预训练视觉权重下迭代编码以适配不同问题。
- AdaLoop 按问题自适应视觉计算并在多轮中复用 encoder 变换
- VisRO 程序化数据集与生成流水线用于视觉中心推理训练评测
- 三类 VLM 族在 VisRO 六项任务上优于单遍与常规微调基线
Data Strategies for Large Language Models: A Unified Perspective on the Training Lifecycle（在新窗口打开）
综述预训练与后训练的数据选择、加权与调度，统一表述为在候选样本上分配训练预算的策略。
- 将数据策略形式化为训练预算在样本上的分配策略，并梳理全生命周期工作
- 按决策粒度、模型依赖与时序适应性组织方法并比较计算与实证
- 指出细粒度/状态依赖策略代价更高，跨尺度迁移与端到端可比证据仍有限
Memory as Weights: Internalizing Long-Term History for Streaming Videos（在新窗口打开）
MaLoW 用 HyperNetwork 将流式视频历史写入 LoRA 权重，在多项流式视频基准上优于既有记忆方法。
- 提出将历史内化到演化 LoRA 权重的流式记忆框架 MaLoW
- 构建含 381K QA、56K 视频的 MaLoW-Instruct 训练集
- 在 OVO-Bench 等基准领先，并泛化提升 VLA 操作成功率
Designing Transformers for Continuous Diffusion Language Models（在新窗口打开）
系统研究 CDLM 专用 Transformer 架构 LangDiT，在 OpenWebText 无条件生成上显著降低 GenPPL。
- 提出 LangDiT：特征与 QK 归一化、宽噪声条件、似然捷径梯度路由等
- 在 LangFlow/Plaid 等 CDLM 公式下作为即插即用骨干刷新 GenPPL
- 隔离架构因素，证明 Transformer 设计是 CDLM 改进的重要来源
SNOAR: Self-training with Noise filtering, Observation adding, and Remixing for Speech Denoising Without Clean References（在新窗口打开）
在 RemixIT 式自训练前用 DNF 与观测加回修正教师估计，稳定训练并接近全监督 SI-SDR 增益。
- 差分噪声过滤与加回观测联合修正教师，避免 identity 坍缩
- WHAM! 上达全监督 topline SI-SDR 改进的 97%
- 真实 CHiME-3 上优于 RemixIT 并提升多种教师各项指标
Can Visual Generation Expand What Unified Multimodal Models Know?（在新窗口打开）
KTP 协议显示图像生成监督可向纯文本问答转移知识，文本对齐与图文交错对齐进一步改善访问。
- Knowledge Transfer Probing 控制地经生成训练注入新知识并用纯文本 QA 测试
- Textual Alignment 与 Interleaved Image–Text Alignment 连接生成与问答
- 分析表明图像中正确再现的知识往往更易经文本访问但仍存在差距
Plans Are Not Executions: Adapting Frozen World-Model Planners to Controller-Induced Execution Shift（在新窗口打开）
ExecutionBridge 从规划-执行轨迹对推断控制器特性，在 NAVSIM 上提升冻结世界模型规划器对未见控制器的决策。
- 揭示规划-执行语义错配：更高执行保真未必带来更好决策
- ExecutionBridge 适配 ego latent rollout，规划器、世界模型与奖励头保持冻结
- 在多种冻结规划器与难驾驶场景中一致增益，优于直接替换为预测执行轨迹
T2-z: Test-Time Optimization of Environment Latents for Robotic World Models（在新窗口打开）
为机器人世界模型引入可学习环境隐变量，测试时从少量交互优化 latent，提升跨环境动作预测与成功率。
- T2-Z 交替训练世界模型与无监督环境 latent，捕获摩擦、质量等不可观因素
- 测试时冻结世界模型、优化新 latent，适配未见环境配置
- 仿真与真实任务上降低预测误差并显著提高动作成功率
Causal Analysis of Robot Foundation Models Enables Efficiency Gains（在新窗口打开）
对三款 VLA 做激活 patching，定位动作条件接口层并仅条件 3/36 层仍保持相近成功率。
- 揭示图像与指令经中后段 cross-attention 窄带影响 action expert
- 区分名词 token 选物体与文本中空间信息引导运动的层位差异
- MolmoBot 条件层裁剪减约 33% FLOPs，3000 回合成功率与默认相当
Perception or Reasoning? Diagnosing and Tackling Reinforcement Learning Bottlenecks in VLMs（在新窗口打开）
PARA 量化 VLM 在基准上的感知与推理余量，GRAD 用组内最优 rollout 蒸馏视觉注意力以提升 RL 效果。
- PARA 比较补视觉信息与强推理器可恢复的错误以归因感知/推理
- 发现 RL 增益随感知余量增大而变小、随推理余量增大而变大
- GRAD 组相对注意力蒸馏在两尺度七基准上稳定提升并互补现有 RL
FastVLA: Task-Conditioned and Temporally Adaptive Visual Token Compression for Efficient Vision-Language-Action Models（在新窗口打开）
免训练 FastVLA 按任务注意力与时序自适应压缩视觉 token，仿真与真机均降延迟且保持成功率。
- 提出任务感知、时序自适应的视觉 token 压缩框架 FastVLA
- 用 task-to-vision 注意力与 inverse-Simpson 在线校准压缩率
- 在 OpenVLA 系列与 Franka 上显著降 FLOPs/延迟且任务表现可比
Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries（在新窗口打开）
Builder 智能体用 RL 将文档组织为层次化工作区，下游问答在 BrowseComp-Plus 大幅领先检索基线。
- 提出 anticipatory curation：推理前主动重组非结构化语料
- 将工作区构建建模为 MDP，用 RL 直接优化下游答题准确率
- BrowseComp-Plus 领先最强检索基线 33 点，BRIGHT 零样本泛化提升 31 点
Bias Control and Injection for Multi-Agent Aggregation（在新窗口打开）
测试时偏置控制与少数派注入作可靠性信号，三数学推理基准上平均准确率与 token 效率优于非 oracle 聚合。
- 揭示多数压力与回答风格等非语义偏置对集体决策的影响
- 无需验证数据与模型强度先验的测试时聚合框架
- 可叠加 multi-agent debate 与 Mixture-of-Agents 而不改交互与综合流程
When Reasoning Is Not Enough: Proactive Inquiry for Cross-Modal Safety in Multimodal Large Language Models（在新窗口打开）
SAFE-PRO 用 RCU 决定何时主动安全澄清、何时路径优化，在七套基准上提升 MLLM 安全并降低过度拒绝。
- 区分隐式推理风险与 intent-level 跨模态歧义风险
- Risk-Conditioned Uncertainty 结合熵与跨模态风险分，构建 SSUI-Dialog 双意图数据集
- 相对 SRPO 等基线一致提升安全，过度拒绝约减半，并给出 RCU 下梯度方差等理论分析
The World Won't Wait: Evaluating and Teaching Agents Under a Live Clock（在新窗口打开）
提出 RealtimeBench 与 TORSI 双时间尺度自改进，使较慢模型在持续运行的游戏中仍能有效行动。
- RealtimeBench：推理时游戏不暂停的 180 任务六类游戏 Agent 评测
- TORSI：慢教师离线纠错写指令、快学生实战中无教师调用
- 两轮 TORSI 将 Jev 均分从 13.51 提至 24.19，指令可迁移至其他模型
Memorilla: Latent Semantic Memory for LLMs（在新窗口打开）
用固定数量 query 相关 memory tokens 为冻结 LLM 汇聚文档知识，长上下文与代理场景表现优于多种基线。
- 文档一次编码为可复用嵌入，再检索并映射到 LLM 输入嵌入空间
- 仅 16 个 memory tokens 在八项基准中五项最优
- TextWorld 中减轻代理重复探索并提升成功率
AgentPerturb: Evaluating LLM Agent Robustness under Controlled Interaction Perturbations（在新窗口打开）
用扰动目标与类型二维框架，在 APEX-Agents 与 Toolathlon 上系统量化前沿 Agent 鲁棒性与失败机制。
- 提出联合刻画扰动目标与类型的统一评估视角与基准构建流程
- 发现扰动普遍降性能且脆弱点随任务环境变化，轨迹级分析显示少验证、易传播错误信息
- 指出扰动成功轨迹可显著增加计算，并指向验证、不确定性与恢复等训练目标
AutoSFT: An Agentic System for Automated Data Research in Supervised Fine-Tuning（在新窗口打开）
AutoSFT 用多智能体覆盖调比例、剪枝、合成等数据动作，IFEval 等显著优于单智能体。
- 定义覆盖比例调整、剪枝、修复、替换与合成的 SFT 数据动作空间
- 提出执行与分析分离、含合成子智能体的多智能体 AutoSFT
- 每轮从基座重训以归因各组件，并迁移至代码数据取得增益
A Phenomenology of Neural Geometry in Vision-Language-Action Models（在新窗口打开）
在 VLA 策略中刻画七种任务概念的实现几何，多为多维且受关节限位等约束塑形。
- 建立 VLA 中任务相关概念实现几何的分类与探针方法
- 发现距离、腕部朝向等标量/几何在多正交子空间中的表征
- 真实机器人数据上几何可复现，并可沿概念几何做 steering
AutoOnboarder: Autonomously Onboarding LLM Agents（在新窗口打开）
Onboarder 编码智能体迭代定制模型、提示与 harness，prior auth 任务上可匹配 Gemini 3.5 Flash 基线且成本至多降 29 倍。
- 自主 onboard 系统缓解智能体在 harness 中的能力损失
- 仅用数十样本，评测数据隔离于独立虚拟机防泄漏
- 归纳未来 onboard 需结构化思考界面、受控联网与更广模型搜索
TRACER: Trajectory-Aware Tool Retrieval for LLM Agents（在新窗口打开）
Trie 索引工具调用序列并排序续接，GPT-5.4 工具选择升 4.7 点且每步输入 token 降 80%。
- 检索前端缓解全量工具注册表的 token 与选择负担
- 用经验与上下文先验混合对 trie 中观测序列续接排序
- 六环境四模型多数组合提升工具选择，全回合执行显著省 token
Full-Duplex Interaction with Speech, Expressions and Gestures（在新窗口打开）
ELLSA 2 端到端全双工对话模型联合优化语音交互与流式手势表情生成，多项指标优于级联基线。
- 块式自回归合成器融合对话 backbone 的听/说隐状态实现非言语连续生成
- 上下文语义 call 与模板引导分离语义手势是否调用及如何呈现
- 建立对话感知共语手势数据与评测管线，MLLM 作参考评判
Close Enough is Nowhere Near: Fidelity-Consumability Decoupling in KV Caches（在新窗口打开）
证明冻结 reader 直接替换 sender KV cache 普遍失败；reader 保留自缓存并 attend 外部 cache 更可行。
- 刻画 reader 的 tolerable set：几何相似度不能预测可用性，失败非渐进
- 用 competitive attention 解释障碍，八种替换方法均接近无信息 cache 基线
- 有效方向是附加 sender cache、仅适配 query，而非追求高保真替换
Diviner: Agentic RCA with Human-Governed Adaptation for Large-Scale Infrastructure（在新窗口打开）
四阶段 Encode–Execute–Evaluate–Adapt 根因分析智能体在 Meta 运行，结合事件知识与证据链假设。
- Domain-Informed 可验证事件导航框架应对跨边界分布式 RCA
- Encode 融合审查事件与服务 owner expertise 产出技能、工具与知识图谱
- Adapt 经回放、质检与 owner 批准更新运营知识
Not X, but When: Diagnosing a Mandarin LLM Writing Tic through Contextual Appropriateness（在新窗口打开）
研究「不是 X 而是 Y」的语境适切性，模型使用过密且可选用法远多于真正误用。
- 基于语用学与纠正否定提出 substantive/optional/defective 决策树
- 标注显示商业模型使用密度远高于人类，缺陷率极低但可选用法占比高
- 揭示奖励模型、法官与 SFT/偏好优化会抬高该结构频率
Twice Upon a Time: Complementary Representations for Time-Series Reasoning（在新窗口打开）
为时序语言模型设计折线图与归一化延迟嵌入双视图互补表示，在 Qwen3-VL-8B 上显著提升推理与预测。
- 提出互补表示设计原则：折线图保留绝对量纲，延迟嵌入突出时序结构
- 双视觉编码器与多级融合接入共享语言模型
- TSRBench 从单视图 44.5% 提升至 53.2%，优于专用 TSLM 基线
Multi-sourced AI Tutor for Non-Native English Speaker Students（在新窗口打开）
多源 RAG 与双语问答的 AI 助教，在 Piazza 帖子上多数能正确有帮助地回答。
- 构建可处理外语提问并双语回复的通用 AI 助教系统
- 设计含问题抽取机制的多源 RAG 流水线
- 在 91 条 Piazza 帖子评估中展示较高正确率与术语表生成能力
没有符合条件的论文。