前沿论文周报 · 2026 年第 36 周
本期周报由 AI 根据每日论文数据起草,深度精读基于论文正文,经独立的 AI 事实核查未发现存疑项,未经人工逐篇审核;数字与结论以论文原文为准。
各期周报
本周概览
本周入选以 P1 顶会论文为主,共 96 篇,基础模型(LLM)与视觉语言理解(VLM)占绝对主体。相对前 4 周 P1 周均,VLM 本周 23 篇、LLM 42 篇、音频 15 篇、视频生成 5 篇均高于历史周均水平;总篇数与前几周差异需结合采集口径理解,方向变化以 P1 方向篇数对比为准。研究重心呈现「测什么、怎么评」与「训后怎么配、推理怎么扩」并行:多模态幻觉、偏见与安全评测密集出现[1][2],GRPO 与 post-training 路由同时出现在 LLM 与音频语言模型工作中[3][4]。视频扩散侧 test-time scaling 与长程世界一致生成同屏活跃[5][6]。
研究热点
按重要性排序;动向由 AI 依据下方统计和论文内容判断
1VLM 幻觉、证据与安全机制
升温VLM
本周 VLM 方向 P1 篇数为 23,高于前 4 周 P1 周均 6.3。进展集中在物体幻觉诊断与检测(MIOH 显示失败常来自跨图整合[1],VisER 从视觉证据与依赖双侧度量[7])、护栏无关社会偏见评测[2]、以及神经元级安全分析(文本安全可定位、视觉安全更分散[8])。离散扩散 VLM 的视觉越狱与跨步条件传播[9]提示新架构带来新攻击面。本周代表工作集中讨论失败模式与可审计信号。
代表论文
- Fine-Grained Multi Image Object Hallucination Benchmark(在新窗口打开)
- VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs(在新窗口打开)
- Do VLMs Share Safety Neurons Across Modalities?(在新窗口打开)
- Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models(在新窗口打开)
- DIVA: Exploiting Cross-Step Conditional Propagation for Visual Jailbreaks in Discrete Diffusion Vision-Language Models(在新窗口打开)
- Text Capability Loss in Vision-Language Adaptation: An Attention-Sink Diagnosis(在新窗口打开)
2LLM 后训练、GRPO 与可靠性
升温LLM
LLM 本周 42 篇 P1,远高于前 4 周 P1 周均 8.3。关键词 GRPO、post-training 各 4 篇。Self-Routing 按样本将 rollout 分到 GRPO、自蒸馏或跳过[3];PAC 用 Thompson Sampling 分配多任务 GRPO rollout[11];RAG 侧 PRO-Step 用步骤级 PRM 与 DPO 抑制 spurious success[12]。可靠性方面,Twin Worlds 用等变性检验证据 grounded 弃权[13],幻觉探针被刻画为以 mean-shift 为主[14]。本周代表工作同时讨论「rollout 预算怎么分、样本怎么路由、过程怎么奖」,以及评测与弃权设计。
代表论文
- From Rollouts to Recipes: Self-Contained Post-Training for LLMs(在新窗口打开)
- PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs(在新窗口打开)
- PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation(在新窗口打开)
- Twin Worlds: Equivariance-Based Abstention for Evidence-Grounded Reasoning(在新窗口打开)
- The Hallucination Signal Is a Mean Shift: Why Simple Probes Suffice(在新窗口打开)
- Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs(在新窗口打开)
3Benchmark 与可控评测范式
持续VLMLLM文生图
本周含 benchmark 关键词的论文 12 篇,覆盖反事实推理 WhatIfBench(最强约 64.62%[16])、交互式竞技编程 InteractBench[17]、文档多跳 DocHop(最佳约 62.83%[18])、T2I 组合指令 Imag-Eval 与 ContextBias[19][20]等。本周这些工作共同采用难度因子拆分、上下文控制或对抗压力,并区分流畅输出与过程/证据正确;覆盖多模态与社会偏见、医学捷径[21]等垂直场景。
代表论文
- The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs(在新窗口打开)
- InteractBench: Benchmarking LLMs on Competitive Programming under Unrevealed Information(在新窗口打开)
- DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents(在新窗口打开)
- Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation(在新窗口打开)
- ContextBias: Controlled Evaluation of Bias Persistence Under Context Shift in Text-to-Image Models(在新窗口打开)
- MedQA-MM: Shortcuts Behind Medical Visual Reasoning(在新窗口打开)
4视频生成 test-time 扩展与世界一致
升温视频生成
视频生成本周 5 篇 P1,高于前 4 周 P1 周均 1.3。NoisEasier 在不动底模下优化整段噪声轨迹,多 backbone 平均超 10%[5];GEARS 用诊断引导候选回收做免训练 TTS[22];OctWorld 以八叉树 TSDF 作长程 3D 记忆支撑世界一致视频[6]。Encore 则把长音视频块迭代与自适应信号路由结合[23]。本周方法分别通过推理时计算与结构化记忆改善质量;概念擦除 EraseSAE 同时回应安全部署[24]。
代表论文
- NoisEasier: Test-Time Noise Optimization for Text-to-Video Generation(在新窗口打开)
- Test-Time Scaling for Video Diffusion Models via Diagnosis-Guided Candidate Recycling(在新窗口打开)
- OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping(在新窗口打开)
- Encore: Infinite Audio-Video Generation with Adaptive Signal Routing(在新窗口打开)
- EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders(在新窗口打开)
5音频语言模型后训练与效率
升温音频
音频方向本周 15 篇 P1,高于前 4 周 P1 周均 4.5。TEMPO 统一时序 grounding 任务并以 GRPO refinement 时序奖励[4];SPHERE 用空间启发式奖励做 ALM 后训练 upmixing[25]。效率上,Stride-k 子采样可在 Whisper 上减 75% 音频 token 且 WER 接近基线[26];BiMTokenizer 在低比特率 codec 中平衡语义与声学[27]。听觉错觉基准 AIB 将 LALM 与人类听感对照[28]。音频与 LLM 管线耦合(如 SE 对 LLM 下游的 ODR[29])提示评测需跨模态一致。
代表论文
- TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models(在新窗口打开)
- SPHERE: Automatic Music Upmixing via Audio Language Model Post-Training with Spatial Heuristic Rewards(在新窗口打开)
- Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper(在新窗口打开)
- BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization via Bidirectional State-Space Modeling(在新窗口打开)
- Auditory Illusion Benchmark for Large Audio Language Models(在新窗口打开)
- Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems(在新窗口打开)
6Web Agent 技能抽象与无障碍
新出现热点统计
由站点根据每日数据计算,与周报起草时提供给 AI 的统计口径一致
本周入选 96 篇:P1 顶会 96
各方向本周与前 4 周均值
按论文主方向 · 对比 W32、W33、W34、W35
查看数据表
| 研究方向 | 本周 | 前 4 周均值 | 本周 P1 | 前 4 周均值(P1) |
|---|---|---|---|---|
| 文生图 | 2 | 1.5 | 2 | 1.5 |
| 图编辑 | 1 | 0.3 | 1 | 0.3 |
| 视频生成 | 5 | 1.3 | 5 | 1.3 |
| 3D 生成 | 0 | 0.5 | 0 | 0.5 |
| Visual2Code | 0 | 0.3 | 0 | 0.3 |
| 3D2Code | 1 | 0.0 | 1 | 0.0 |
| GUI Agent | 2 | 0.3 | 2 | 0.3 |
| 世界模型 | 1 | 0.8 | 1 | 0.8 |
| 具身智能 | 3 | 2.3 | 3 | 2.3 |
| VLM | 23 | 6.3 | 23 | 6.3 |
| OCR | 1 | 0.3 | 1 | 0.3 |
| 音频 | 15 | 4.5 | 15 | 4.5 |
| LLM | 42 | 8.3 | 42 | 8.3 |
| 统一多模态 | 0 | 0.3 | 0 | 0.3 |
口径:按论文主方向计数;均值为前几周中有每日数据的周的周均篇数,保留 1 位小数。2026-10-14 及以前为历史补采,作者单位只来自 OpenAlex,P3 论文明显偏少,前 4 周全部是补采数据;前后对比以 P1 为可比口径(默认显示)。
本周高频关键词
AI 要点关键词 · 前 15 个,按论文数
查看数据表
| 关键词 | 论文数(篇) |
|---|---|
| benchmark | 12 |
| LLM | 11 |
| MLLM | 11 |
| VLM | 7 |
| evaluation | 4 |
| GRPO | 4 |
| post-training | 4 |
| ASR | 3 |
| diffusion | 3 |
| fairness | 3 |
| instruction following | 3 |
| Mixture-of-Experts | 3 |
| safety | 3 |
| test-time scaling | 3 |
| TTS | 3 |
口径:同一篇论文中的同一关键词只算一次,大小写与全半角归并。
深度精读
基于论文正文撰写;每条出处的英文原句都经管线核对,确认在正文中逐字出现,结论中的数字出现在原句中
From Rollouts to Recipes: Self-Contained Post-Training for LLMs(在新窗口打开)
从 Rollout 到 Recipe:LLM 自包含后训练
- 要解决的问题
- 可验证任务的后训练通常对全部样本使用同一套优化配方,忽略当前策略 rollout 所暴露的样本级学习状态差异,难以决定「是否更新」以及「用何种信号更新」每个样本。
- 方法
- 提出 Self-Routing:在固定训练集与相同 rollout 预算下,用 rollout 正确率分解(低/中/高准确率软隶属)与 token 熵校准的置信度构成行为状态,经可解释路由分数将样本分到 GRPO、OPSD、REG、SKIP 四队列之一,再聚合活跃损失更新策略;信号来自 on-policy rollout,无需外部教师或额外标注。
- 主要结果
- 在 Qwen3 与 Qwen3.5 多规模、六基准宏平均上,Self-Routing 均为同组最优。Qwen3-4B 平均由 61.0 提至 73.7,较 Naive-GRPO 与 Naive-OPSD 分别高 6.9 与 3.3 分;Qwen3.5-4B 达 86.6,高于 Naive-GRPO 的 79.8 与 Naive-OPSD 的 83.0。G=8 时归一化训练代价为 34.7,低于 Naive-GRPO 的 64.0、高于 Naive-OPSD 的 24.0;分支占比约为 30.8% GRPO、30.4% OPSD、25.5% REG、13.3% SKIP。
- 局限
- 作者指出路由规则主要依赖直觉与实验,尚缺对 rollout 模式与优化信号匹配的机制或理论解释;实验以数学推理后训练为主,能否推广到 agent 规划或开放式指令等场景仍不明确;工作聚焦路由而非改进 GRPO/OPSD 等单算法内部设计。
- 意义
- 将 rollout 从「选样本/选答案」延伸到「选优化配方」,在统一 verifier 后训练框架内用自包含 on-policy 信号做样本级策略分配,为缓解全局单一目标在异质学习状态上的浪费提供了有多规模实验支持的思路,增益随骨干能力增强更明显。
正文出处
§4.2Qwen3-4B 上 Self-Routing 六基准平均为 73.7,较 Naive-GRPO 与 Naive-OPSD 分别高 6.9 与 3.3 分(相对基线 61.0 起点叙述见正文)。
For example, on Qwen3-4B, Self-Routing improves the average score from 61.0 to 73.7, exceeding Naive-GRPO and Naive-OPSD by 6.9 and 3.3 points, respectively.
§4.2Qwen3.5-4B 上 Self-Routing 宏平均 86.6,Naive-GRPO 为 79.8,Naive-OPSD 为 83.0。
On Qwen3.5-4B, Self-Routing reaches 86.6 average score, compared with 79.8 for Naive-GRPO and 83.0 for Naive-OPSD.
§4.3G=8 时归一化 FLOPs:Naive-GRPO 64.0,Naive-OPSD 24.0,Self-Routing 34.7。
When G=8, the normalized costs are 64.0 for Naive-GRPO, 24.0 for Naive-OPSD, and 34.7 for Self-Routing.
§4.3Self-Routing 训练分支平均占比约为 30.8% GRPO、30.4% OPSD、25.5% REG、13.3% SKIP。
The Self-Routing branch ratios are obtained by integrating the routing curves in Figure 4, giving 30.8% GRPO, 30.4% OPSD, 25.5% REG, and 13.3% SKIP.
§4.2Qwen3-4B 上 Self-Routing 在 ID math、OOD 可验证推理与 general 评估分别为 80.9、71.1、59.3,并优于 DAPO-style RL 与 PODS。
On Qwen3-4B, Self-Routing also outperforms DAPO-style RL and PODS, achieving 80.9/71.1/59.3 on ID math, OOD verifiable reasoning, and general evaluation.
§4.5训练早期 OPSD 路由占比最高,计数比例高于 0.5,随后 GRPO 与 REG 随阶段变化。
At the early stage, OPSD accounts for the largest proportion, with a counting ratio above 0.5, while GRPO and Reg remain relatively low.
OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping(在新窗口打开)
OctWorld:基于八叉树三维映射的长程世界一致视频生成
- 要解决的问题
- 长相机路径与宽视角下的世界一致视频生成,需在跨 chunk 自回归中重访已生成区域时仍保持几何与外观一致;现有点云或帧缓存等记忆缺乏全局融合,长程易几何漂移。
- 方法
- OctWorld 以单图与用户相机轨迹做 chunk 级自回归扩散生成;每段 RGB-D(联合预测或外部深度)增量写入 OctMap——动态稀疏八叉树 TSDF,按深度自适应体素并融合,提取 mesh 渲染为目标视角空间条件,并与 packed history、Plücker 相机控制及 noise augmentation 共同条件下一段。
- 主要结果
- WorldScore 静态 photorealistic 子集上,OctWorld-1.0 的 3D Consistency 为 77.01、Photometric Consistency 为 78.17(表 1 最高)。Re10K 反向轨迹上 LPIPS 0.1633、CD 0.0345 优于 Gen3C 与 VMem。长程用户研究偏好 53.8%。自构最长 433 帧轨迹上质量与一致性更好;OctMap 重投影 PSNR 23.47,优于点云与固定 TSDF。
- 局限
- 论文承认:OctMap 未保留粗节点特征,难做 view-dependent LOD;缺 voxel pruning,节点全在 GPU 上随场景扩展占内存。OctWorld 质量受训练数据与 backbone 限制;实验侧重静态场景,尚不支持动态物体与 4D 世界记忆。
- 意义
- 将 SLAM 式 TSDF 融合扩展为开放域可增长的八叉树全局记忆,并与长上下文自回归视频扩散耦合,为长程可探索、重访一致的世界生成提供了可验证的 3D 记忆范式,相对点缓存与均匀 TSDF 更兼顾细节与开销。
正文出处
Table 1WorldScore 上两项一致性得分为 77.01 与 78.17,均为对比方法中最高。
Ours† 50.31 71.67 77.01 78.17 39.12 48.69 6.37 31.17
Table 2反向轨迹空间记忆任务上 LPIPS 0.1633、CD 0.0345 最优。
Method LPIPS↓ CD↓ Ours 0.1633 0.0345
Table 3长程生成用户研究中,本方法获 53.8% 偏好。
Ours 53.8% Gen3C 39.5% Vmem 0.9% Not sure 5.8%
§4.1长程评测使用最长 433 帧的相机轨迹设定。
we manually construct a benchmark with trajectories of up to 433 frames, enabling the assessment of model performance under extended camera motions.
Table 5OctMap 自适应表示重投影 PSNR 23.47,优于点云与多档固定 TSDF。
OctMap Adaptive 23.47 0.74 0.27 7.26 17.94
§4.2正文称 OctWorld 在 3D 与 photometric 一致性两项得分最高。
As shown in Tab. 1, our proposed OctWorld achie-ves the highest scores in both 3D Consistency and Photometric Consistency.
PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation(在新窗口打开)
PRO-Step:检索增强生成的步骤级过程奖励优化
- 要解决的问题
- 多跳 RAG 中早期检索错误会沿推理链传播;仅按最终答案优化的 outcome 奖励稀疏且无法惩罚中间失误。现有过程监督仍用最终答案给各步打分,检索有误却碰巧答对时仍会被奖励(spurious success)。
- 方法
- 两阶段框架 PRO-Step:(1)在交错检索–推理轨迹上训练 Generative PRM,对每步同时给出正确性标签与 rationale,评估逻辑有效性与证据 grounding;(2)用 PRM 引导的价值树搜索(VTS)构造步骤级偏好对,过滤 spurious 轨迹,再以 step-level DPO 优化策略模型。
- 主要结果
- 在 PopQA、HotpotQA、2WikiMultiHopQA、Bamboogle、MuSiQue 五个基准上,PRO-Step 平均 EM 34.5、F1 44.1,为所评方法中最高;相对 outcome 基线 Search-R1 平均高约 2.5 EM 与 3.4 F1。去掉 PRM 后平均 EM 降至 32.7、F1 41.9。在 2WikiMultiHopQA 上相对 Search-R1 约 +9.2 EM、+8.9 F1。
- 局限
- PRM 标注依赖 QwQ-32B 以保可复现,非闭源教师。训练规模较小(5,000 seed questions、15,877 pairs),MuSiQue 上 EM 落后 StepSearch 1.3。Bamboogle 仅 125 条测试,与 ReasonRAG 对比 p=0.66。PRM 反馈引导的轨迹再生会显著拉低评测。
- 意义
- 将 RAG 过程监督从「对照最终答案」推进到逐步的逻辑与证据双维评估,并用 PRM+VTS+DPO 显式抑制 spurious success,为 agentic RAG 的细粒度策略优化提供了可复现路径。
正文出处
§4.2五个 QA 基准上平均 EM 34.5、F1 44.1,为所评方法最优。
PRO-Step achieves the highest average performance across all evaluated methods, recording 34.5 EM and 44.1 F1
§4.2相对 Search-R1 平均提升约 2.5 EM 与 3.4 F1。
On average, PRO-Step outperforms the outcome-based Search-R1 by 2.5 EM and 3.4 F1 points.
§4.2在 2WikiMultiHopQA 上相对 Search-R1 约 +9.2 EM、+8.9 F1。
On complex multi-hop tasks such as 2WikiMultiHopQA, where our method achieves a 9.2 EM and 8.9 F1 improvement.
§4.3移除 PRM 后平均 EM 从 34.5 降至 32.7,F1 从 44.1 降至 41.9。
removing the PRM degrades average performance from 34.5 to 32.7 EM and from 44.1 to 41.9 F1
LimitationsMuSiQue 上 PRO-Step 落后 StepSearch 1.3 EM。
The largest gap appears on MuSiQue, where PRO-Step trails StepSearch by 1.3 EM.
Abstract摘要在五个数据集上报告 PRO-Step 取得最佳平均 EM 与 F1。
Experiments on single- and multi-hop QA datasets demonstrate that PRO-Step achieves the best average EM and F1 across five benchmarks.
论文推荐
按必读、方法亮点、数据与评测、开源项目分组,每篇附推荐理由
必读3
Fine-Grained Multi Image Object Hallucination Benchmark(在新窗口打开)
细粒度多图物体幻觉基准
MIOH 系统拆解多图物体幻觉与整合阶段失败,29 模型评测结论对 MLLM 研发与选型有直接参考。
From Rollouts to Recipes: Self-Contained Post-Training for LLMs(在新窗口打开)
从 Rollout 到 Recipe:LLM 自包含后训练
Self-Routing 样本级后训练路由 GRPO/自蒸馏/跳过,数学推理上稳定优于统一 GRPO,代表后训练范式细化。
OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping(在新窗口打开)
OctWorld:基于八叉树三维映射的长程世界一致视频生成
OctMap 八叉树 TSDF 长程 3D 记忆支撑世界一致视频,连接生成与世界模型叙事。
方法亮点3
PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation(在新窗口打开)
PRO-Step:检索增强生成的步骤级过程奖励优化
PRO-Step 步骤级 PRM 与价值树搜索构造偏好,多跳 QA 五基准 EM/F1 最优,RAG 过程监督代表工作。
Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding(在新窗口打开)
Faster Than Flash:利用注意力稀疏性实现高效长上下文解码
FFD 利用注意力稀疏性加速长上下文解码,内核级最高约 11.6×,256K 上下文精度保持。
TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models(在新窗口打开)
TEMPO:面向 Large Audio-Language Models 的时序 grounding 多任务后训练
TEMPO 将 GRPO 引入统一音频时间戳后训练,119K 训练与 10K 评测 benchmark,LALM 时序代表。
数据与评测2
What If 的幻觉:评估大语言模型反事实推理的失效
WhatIfBench 与 PRISM 暴露开放域反事实推理因果缺口,最强约 64.62%,适合作为 LLM 推理评测参考。
DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents(在新窗口打开)
DocHop:信息密集文档中的域外多跳推理基准
DocHop 2074 例信息密集文档多跳推理,揭示 MLLM 与人类约 90% 准确率差距。
开源项目2
SCAFFOLD: Self-Improving Web Agents via Recursive Parametric Skill Abstraction(在新窗口打开)
SCAFFOLD:递归参数化技能抽象的自改进 Web Agent
SCAFFOLD 开源,递归参数化技能抽象与五轮自改进 Web Agent 路线,含 WebArena 评测。
ContextBias:文生图模型在上下文偏移下偏见持续性的可控评测
ContextBias 含 ContextBench 与代码,文生图上下文偏移下偏见持续性可控评测。
领域洞察
按研究方向分组,各写一段本周的研究动向与判断
生成
本周 8 篇图编辑 1 文生图 2 视频生成 5
生成组 8 篇以视频为主(5 篇)。test-time scaling 成簇:噪声轨迹优化、候选回收与 T2I 评测细化并存;OctWorld 将 3D 记忆嵌入长程视频[6]。文生图侧重组合指令与 ContextBias 公平评测[19][20],图编辑 RegionCache 做多轮 DiT 区域复用加速[34]。
相关论文
- NoisEasier: Test-Time Noise Optimization for Text-to-Video Generation(在新窗口打开)
- OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping(在新窗口打开)
- Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation(在新窗口打开)
- RegionCache: Semantic-Aware Region Reuse for Efficient Multi-Turn Image Generation(在新窗口打开)
代码生成
本周 1 篇3D2Code 1
代码组仅 1 篇:FoldingAgent 用 VLM 与工具从折纸演示视频推断参数化程序并建 PurelandFold 基准[35],属 3D2Code 与 agent 式程序合成交叉点,本周不构成独立浪潮。
智能体
本周 2 篇世界模型与具身
本周 4 篇具身智能 3 世界模型 1
世界与具身 4 篇:谱分析说明世界模型与策略更新几何互补[32];具身侧重 OptiGeo 透明场景单目几何[37]、车载 VLA 语言 residue 综述[39]、LookStep 语言前瞻 VLN[38]。与 OctWorld 视频 3D 记忆[6]共同指向「几何/记忆 + 语言条件」长程一致。
相关论文
- How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account(在新窗口打开)
- OptiGeo: Efficient Monocular Geometry for Embodied Perception in Optically Challenging Scenes(在新窗口打开)
- LookStep: Efficient Vision-Language Navigation with Linguistic Foresight and Event Driven Memory(在新窗口打开)
理解
本周 24 篇OCR 1 VLM 23
理解组 24 篇,VLM 23 篇为本周最密方向之一。幻觉、偏见、越狱与 token 效率(CoverPruner[40]、CoFiE 流式证据[43])并列;空间推理 FactoSR 用 RL 分解 4D 约束[41]。文档与检索 MIDR、DocHop 强调 index-time 与多跳证据[42][18]。
相关论文
- Fine-Grained Multi Image Object Hallucination Benchmark(在新窗口打开)
- Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization(在新窗口打开)
- Unfold The World: Factorize 4D Properties in Reinforcing Spatial Reasoning(在新窗口打开)
- MIDR: Enrichment-Augmented Indexing for Multimodal Document Retrieval(在新窗口打开)
音频
本周 15 篇音频 15
音频 15 篇:LALM 后训练(TEMPO、SPHERE)中,本周音频工作也采用 GRPO 奖励设计[4][25];Whisper token 压缩[26]、低比特率 BiMTokenizer[27] 服务 SpeechLM 部署;安全侧 Ouroboros 语音增强后门[44]、SE 对 LLM 流水线 ODR[29] 值得工程关注。
相关论文
- TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models(在新窗口打开)
- Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper(在新窗口打开)
- Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems(在新窗口打开)
- Auditory Illusion Benchmark for Large Audio Language Models(在新窗口打开)
基础模型
本周 42 篇LLM 42
基础模型 42 篇主导本周。MoE 压缩与推理加速(PCoMoE、PARSER、CS-MoE[45][47][48])、长上下文 FFD/CateKV[33][49]、对齐与安全(CREST、RAEC、SEAV[50][51][46])与 Agent 上下文 RL ContextPilot[52] 同屏。后训练预算近最优区间可从小模型迁移[15]降低试错成本。
相关论文
- From Rollouts to Recipes: Self-Contained Post-Training for LLMs(在新窗口打开)
- PCoMoE: Shifting MoE Inference from Monolithic Expert Selection to Fine-Grained Path Composition(在新窗口打开)
- Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding(在新窗口打开)
- Validity-Aware Jailbreak Evaluation for Large Language Models(在新窗口打开)
参考来源
- [1]Fine-Grained Multi Image Object Hallucination Benchmark(在新窗口打开)↩
- [2]Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models(在新窗口打开)↩
- [3]From Rollouts to Recipes: Self-Contained Post-Training for LLMs(在新窗口打开)↩
- [4]TEMPO: Temporally-grounded Multi-task Post-training for Large Audio-Language Models(在新窗口打开)↩
- [5]NoisEasier: Test-Time Noise Optimization for Text-to-Video Generation(在新窗口打开)↩
- [6]OctWorld: Long-Range World-Consistent Video Generation with Octree-Based 3D Mapping(在新窗口打开)↩
- [7]VisER: Visual Evidence and Reliance for Object Hallucination Detection in LVLMs(在新窗口打开)↩
- [8]Do VLMs Share Safety Neurons Across Modalities?(在新窗口打开)↩
- [9]DIVA: Exploiting Cross-Step Conditional Propagation for Visual Jailbreaks in Discrete Diffusion Vision-Language Models(在新窗口打开)↩
- [10]Text Capability Loss in Vision-Language Adaptation: An Attention-Sink Diagnosis(在新窗口打开)↩
- [11]PAC: Progress-Augmented Advantage Curriculum for Multi-Task Reinforcement Learning of LLMs(在新窗口打开)↩
- [12]PRO-Step: Step-level Process Reward Optimization for Retrieval-Augmented Generation(在新窗口打开)↩
- [13]Twin Worlds: Equivariance-Based Abstention for Evidence-Grounded Reasoning(在新窗口打开)↩
- [14]The Hallucination Signal Is a Mean Shift: Why Simple Probes Suffice(在新窗口打开)↩
- [15]Scaling Near-Optimal SFT-RL Annotation Budget Allocation from Small to Large LLMs(在新窗口打开)↩
- [16]The Illusion of $\textit{What If}$: Evaluating the Breakdown of Counterfactual Reasoning in LLMs(在新窗口打开)↩
- [17]InteractBench: Benchmarking LLMs on Competitive Programming under Unrevealed Information(在新窗口打开)↩
- [18]DocHop: Benchmarking Out-of-domain Multi-hop Reasoning in Information-Dense Documents(在新窗口打开)↩
- [19]Imag-Eval: a language-grounded framework for interpretable Text-to-Image instruction following evaluation(在新窗口打开)↩
- [20]ContextBias: Controlled Evaluation of Bias Persistence Under Context Shift in Text-to-Image Models(在新窗口打开)↩
- [21]MedQA-MM: Shortcuts Behind Medical Visual Reasoning(在新窗口打开)↩
- [22]Test-Time Scaling for Video Diffusion Models via Diagnosis-Guided Candidate Recycling(在新窗口打开)↩
- [23]Encore: Infinite Audio-Video Generation with Adaptive Signal Routing(在新窗口打开)↩
- [24]EraseSAE: Surgical Concept Erasure in Text-to-Video Diffusion Models via Sparse Autoencoders(在新窗口打开)↩
- [25]SPHERE: Automatic Music Upmixing via Audio Language Model Post-Training with Spatial Heuristic Rewards(在新窗口打开)↩
- [26]Stride-k Subsampling: Train-Free Audio Token Reduction for Whisper(在新窗口打开)↩
- [27]BiMTokenizer: Preserving Semantic-Acoustic Balance in Low-Bitrate Speech Tokenization via Bidirectional State-Space Modeling(在新窗口打开)↩
- [28]Auditory Illusion Benchmark for Large Audio Language Models(在新窗口打开)↩
- [29]Perceptually Better, Semantically Worse: Measuring Speech Enhancement Impact on LLM-Based Voice Systems(在新窗口打开)↩
- [30]SCAFFOLD: Self-Improving Web Agents via Recursive Parametric Skill Abstraction(在新窗口打开)↩
- [31]Are We There Yet? Assessing Computer-Use Agents for Blind Users' Accessible Interaction with Desktop Applications(在新窗口打开)↩
- [32]How do World Models and Policies Compose in LLM Agents? A Joint Spectral and Behavioral Account(在新窗口打开)↩
- [33]Faster Than Flash: Exploiting Attention Sparsity for Efficient Long-Context Decoding(在新窗口打开)↩
- [34]RegionCache: Semantic-Aware Region Reuse for Efficient Multi-Turn Image Generation(在新窗口打开)↩
- [35]FoldingAgent: Inferring Parametric Origami Procedures from Demonstration Videos(在新窗口打开)↩
- [36]CAST: Critique-Aware Supervision for Training Reliable Long-Horizon Tool-Calling Agents(在新窗口打开)↩
- [37]OptiGeo: Efficient Monocular Geometry for Embodied Perception in Optically Challenging Scenes(在新窗口打开)↩
- [38]LookStep: Efficient Vision-Language Navigation with Linguistic Foresight and Event Driven Memory(在新窗口打开)↩
- [39]Rethinking Language's Role in Efficient VLA for Autonomous Vehicles: Toward Smarter, Trustworthy Driving(在新窗口打开)↩
- [40]Who Speaks for the Pruned? Visual Token Pruning as Coverage Optimization(在新窗口打开)↩
- [41]Unfold The World: Factorize 4D Properties in Reinforcing Spatial Reasoning(在新窗口打开)↩
- [42]MIDR: Enrichment-Augmented Indexing for Multimodal Document Retrieval(在新窗口打开)↩
- [43]CoFiE: Coarse-to-Fine Evidence Selection for Efficient Streaming Video Understanding(在新窗口打开)↩
- [44]Ouroboros: Self-Referential Backdoor Attacks on Speech Enhancement via Clean Audio Triggers(在新窗口打开)↩
- [45]PCoMoE: Shifting MoE Inference from Monolithic Expert Selection to Fine-Grained Path Composition(在新窗口打开)↩
- [46]Validity-Aware Jailbreak Evaluation for Large Language Models(在新窗口打开)↩
- [47]Residual Sparsification via Output Importance for Compressing Mixture-of-Experts LLMs(在新窗口打开)↩
- [48]Improving Parameter Utilization by Sharing Neural Experts Across Layers in Transformers(在新窗口打开)↩
- [49]CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration(在新窗口打开)↩
- [50]Beyond Token-Level Guidance: Inference-Time Alignment of Specialized LLMs via Cross-Family Representation Steering(在新窗口打开)↩
- [51]Beyond Token Positions: Safety Alignment Across Denoising Steps in Diffusion Language Models(在新窗口打开)↩
- [52]ContextPilot: Teaching Agents for Proactive Context Management via Fine-grained RL(在新窗口打开)↩