搜索Ctrl K
  • 榜单数据10-19 16:51
  • 论文数据10-19 14:23
  • 周报10-19 16:07

前沿论文周报 · 2026 年第 31 周

未发布阅读约 9 分钟AI 起草 · 人工审核已核查

本期周报由 AI 根据每日论文数据起草，深度精读基于论文正文，经独立的 AI 事实核查未发现存疑项，未经人工逐篇审核；数字与结论以论文原文为准。

各期周报

本周概览

本周入选 19 篇且均为 P1，总量低于 W30 的 24 篇及更早几周；方向对比宜以前 4 周 P1 周均为准，不宜仅据总篇数判断升温。VLM 6 篇、音频 6 篇仍是两条主线，但均低于前 4 周 P1 周均 16.8 篇与 15.8 篇。生成 5 篇集中在推理时对齐与概念擦除、视觉文本与分层试衣，以及第一人称事件触发视频编辑[1]。基础模型 2 篇分别对应 decoder-only 任意模态统一建模[2]与 LLM 对齐可控性审计[3]。

研究热点

按重要性排序；动向由 AI 依据下方统计和论文内容判断

1临床与副语言语音建模

持续

音频

本周音频 6 篇中，多篇落在临床检测、病理声学 biomarker 与情感副语言，而非单一 ASR 或 TTS。语音克隆在副语言任务上的信号保留[4]支持跨语言临床数据增强；阿尔茨海默病理与感知声学线索在语言、性别子群上的不对齐[5]强调群体特异性可解释审计。相对前 4 周 P1 周均 15.8 篇，本周篇数偏少；本周代表工作覆盖临床、副语言与群体特异性审计。

代表论文

2VLM 效率、端侧与长上下文

持续

VLM

SFPruner[7]将视觉 token 选择耗时从约 112ms 降至约 2.5ms；UltraViT[8]面向端侧延迟优化，编码速度约快 1.7 倍；ReToken[9]在 VLM 内部用可学习检索 token 服务长图与长视频问答，无需独立检索器。HyGAE[10]则把 VLM 智能体多轮 RL 的 token 级与 turn 级目标统一在 hybrid advantage 下。本周 VLM P1 为 6 篇，低于前 4 周 P1 周均 16.8 篇，但「降成本、延上下文、稳多轮决策」仍是清晰子题簇。

代表论文

3推理时扩散对齐与概念擦除

持续

文生图图编辑

PARSE[11]以无训练方式擦除扩散模型目标概念，并用自适应秩子空间平衡鲁棒性与 retain 效用；AnchorSteer[12]在推理阶段做语义锚定初始噪声与 VLM 反思式去噪，强化复杂组合提示对齐。InnoText[13]以单 DiT 统一视觉文本生成与编辑。文生图本周 2 篇、低于前 4 周 P1 周均 3.3；图编辑 2 篇、略高于周均 1.5。重点在可控与保效用，而非扩参竞赛。

代表论文

4双塔 VLM 组合逻辑与检索扩展

新出现

VLM

Similarity Is Not Logic[14]揭示双编码器 VLM 相似度接口在组合逻辑约束上的系统性失败，提出冻结编码器外的无训练 LCSE 与 FACTOR-Bench。ReToken[9]则从另一路径扩展 VLM 的检索式能力，在已有 KV cache 内选取与 query 相关的视觉 token。二者共同指向：在不大规模微调骨干的前提下，为 VLM 补上结构化查询与长程证据访问接口。

代表论文

5边缘部署与模块化语音前端

持续

音频

kiloVAD[15]以约 2.1k 参数在因果帧级 AVA-Speech 评测下达到 AUC 0.850，面向嵌入式 VAD。WeSep[16]将目标说话人抽取表述为线索可组合的条件学习，解耦线索模块与分离骨干。VAM-ECAPA[17]用向量档案增强短段说话人嵌入，VoxCeleb1 一秒测试 EER 为 8.334%。与临床语音线形成极轻前端与可配置分离工具链的并行布局。

代表论文

热点统计

由站点根据每日数据计算，与周报起草时提供给 AI 的统计口径一致

本周入选 19 篇：P1 顶会 19

各方向本周与前 4 周均值

按论文主方向 · 对比 W27、W28、W29、W30

本周 P1前 4 周均值（P1）
各方向本周与前 4 周均值（只算 P1）14 个研究方向的 P1 论文本周篇数与前 4 周均值的对比，按论文主方向计数；详细数值见数据表。文生图图编辑视频生成3D 生成Visual2Code3D2CodeGUI Agent世界模型具身智能VLMOCR音频LLM统一多模态2 篇3.3 篇2 篇1.5 篇1 篇4 篇2 篇0.3 篇0.8 篇1.3 篇5.3 篇6 篇16.8 篇0.5 篇6 篇15.8 篇1 篇7.3 篇1 篇1 篇
查看数据表
研究方向本周前 4 周均值本周 P1前 4 周均值（P1）
文生图23.323.3
图编辑21.521.5
视频生成14.014.0
3D 生成02.002.0
Visual2Code00.000.0
3D2Code00.300.3
GUI Agent00.800.8
世界模型01.301.3
具身智能05.305.3
VLM616.8616.8
OCR00.500.5
音频615.8615.8
LLM17.317.3
统一多模态11.011.0

口径：按论文主方向计数；均值为前几周中有每日数据的周的周均篇数，保留 1 位小数。2026-10-14 及以前为历史补采，作者单位只来自 OpenAlex，P3 论文明显偏少，前 4 周全部是补采数据；前后对比以 P1 为可比口径（默认显示）。

本周高频关键词

AI 要点关键词 · 前 15 个，按论文数

本周高频关键词共 15 个分类、1 个系列；最大值为 image editing（2 篇）。详细数值见数据表。image editingVLM3D-awareacoustic biomarkersaffective speechalignmentAlzheimer's Diseaseany-to-anyarousalASRaudio toolkitAVA-Speechbenchmarkclinical speechclinical speech AI2 篇2 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇1 篇
查看数据表
关键词论文数（篇）
image editing2
VLM2
3D-aware1
acoustic biomarkers1
affective speech1
alignment1
Alzheimer's Disease1
any-to-any1
arousal1
ASR1
audio toolkit1
AVA-Speech1
benchmark1
clinical speech1
clinical speech AI1

口径：同一篇论文中的同一关键词只算一次，大小写与全半角归并。

深度精读

基于论文正文撰写；每条出处的英文原句都经管线核对，确认在正文中逐字出现，结论中的数字出现在原句中

Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language Models

相似度不是逻辑：双塔视觉语言模型的因子化推理

arXiv:2607.23052P1 顶会正文（arXiv HTML）参考来源 [14]

要解决的问题
双塔 VLM 仅用标量相似度做检索，在否定、合取、排除等组合查询上常违背真值语义；相似度更像对概念证据做均值池化，而非执行逻辑算子。
方法
提出因子化推理：冻结编码器提取各概念的原子 presence 分数，外部用极性补（1−p）与 power mean 执行合取/析取；LCSE 在相似度空间对 holistic 分数做轻量编辑，仅在算子需非均值聚合时修正，无训练。
主要结果
FACTOR-Bench 上 LCSE（CLIP）达 85.5%，优于最佳微调基线 NegationCLIP 的 73.2%；接 SigLIP 2 为 90.7%。NegBench COCO MCQ 自 27.2% 升至 65.2%（SigLIP 2 + LCSE）。COCO 检索 R@5 为 55.2% 对 CLIP 55.3%，ρ=0.999。
局限
依赖对布尔结构的解析；每查询需 m+1 次文本编码。编码器若无法给出可靠原子证据，外部算子无法纠错。实验主要在视觉概念上的布尔算子（一至两个概念）及 FACTOR-Bench、NegBench 等设定下验证。
意义
将瓶颈定位为相似度接口而非表示本身，用训练外约束执行补全组合检索，在提升逻辑约束满足率的同时几乎不损零样本检索，对把 VLM 当结构化过滤接口的工程路径有参考价值。

正文出处

  1. AbstractFACTOR-Bench 上 LCSE 85.5%，最佳微调基线 73.2%；SigLIP 2 上 LCSE 为 90.7%。

    LCSE achieves 85.5% accuracy versus 73.2% for the best fine-tuned baseline, 90.7% when applied to SigLIP 2

  2. AbstractNegBench COCO MCQ 从 27.2% 提升至 65.2%，并保留检索表现。

    improves NegBench COCO MCQ accuracy from 27.2% to 65.2% while preserving retrieval performance

  3. §5.2LCSE 在 COCO 上 R@5 为 55.2% 对 CLIP 55.3%，Spearman ρ=0.999。

    LCSE maintains standard retrieval within 0.1 percentage points of CLIP (55.2% vs. 55.3% R@5 on COCO, ρ=0.999

  4. §3交换 and/or 几乎不改变排序（ρ=0.94），体现 bag-of-concepts 式接口。

    Operator swaps fall near the upper bound (ρ=0.94), so changing "and" to "or" has no more effect than rewording.

  5. §5.3概念检测强时 LCSE 90.4%，holistic 57.8%；弱检测时 LCSE 仍 76.0%。

    With strong detection (AUC>0.90) LCSE reaches 90.4% (vs. 57.8% holistic). Under weak detection (AUC<0.75), it degrades to 76.0%

  6. Limitations原子证据失败时，外部算子执行无法恢复正确性。

    If the encoder fails to produce atomic evidence for a concept, external operator execution does not recover correctness.

ReToken: Improving Long-Context VLMs with Visual Retrieval Token

ReToken：用视觉检索 Token 改进长上下文 VLM

arXiv:2607.28627P1 顶会正文（arXiv HTML）参考来源 [9]

要解决的问题
长视觉上下文下 VLM 易被干扰图或帧淹没，全量 token 推理又易超出显存；需在已编码的视觉 KV 中按问题选出少量相关 token 再作答。
方法
提出单个可学习 ReToken 接在问题后，在最终层用投影 ReToken 与每帧 value 均值的余弦相似度打分选 Top-K 帧；默认冻结 VLM，仅用类平衡 BCE 监督检索。推理先缓存全视频 KV，再两趟前向：检索 pass 定帧集，回答 pass 仅在选中帧上生成。
主要结果
Visual Haystacks 上冻结 Qwen3VL-8B 准确率 72.0（+13.4），InternVL3.5-8B +12.4，相对增益超过 20%。仅多图 QA 训练即零样本迁移：LVBench 上 Qwen3VL-8B 提升 8.0 点至 48.6；QAEgo4DTest-MC 在 K=1 时较均匀采样高 6.8 点。训练与长视频推理可在单卡 H100 完成。
局限
需两次前向，早期层需 attend 更多视觉上下文，略增显存与延迟。训练数据仅限多图 QA，未用视频标注；帧级独立打分对跨帧时序与摘要类任务较弱，摘要题型上反而下降。
意义
表明预训练 VLM 的 value 空间比 query–key 注意力更适合视觉检索，用极少参数在回答模型内部完成检索，为长图、长视频 QA 提供可单卡部署的检索—生成一体化路径。

正文出处

  1. AbstractVisual Haystacks 上 ReToken 使 Qwen3VL-8B 提升 13.4 点、InternVL3.5 提升 12.4 点，相对增益超过 20%。

    On Visual Haystacks, it improves Qwen3VL-8B by 13.4 points and InternVL3.5 by 12.4 points (>20% relative).

  2. Table 3冻结 VLM 时 Qwen3VL-8B 加 ReToken 在 Visual Haystacks 准确率为 72.0，较基线提升 13.4 点。

    + ReToken 87.8 (+0.0) 85.9 (+3.9) 84.4 (+6.5) 82.5 (+7.8) 80.7 (+11.5) 76.8 (+12.8) 72.0 (+13.4) 67.7 (+12.0)

  3. AbstractLVBench 长视频零样本迁移下，Qwen3VL-8B 提升 8.0 点。

    On LVBench, it transfers zero-shot to long video and improves Qwen3VL-8B by 8.0 points.

  4. Table 5(b)LVBench 检索设定下 Qwen3VL-8B 为 40.6，加 ReToken 为 48.6（+8.0）。

    Qwen3VL-8B [4] 100 40.6 65.1 + ReToken 100 48.6 (+8.0) 67.1 (+2.0)

  5. §4.3QAEgo4DTest-MC 在 K=1 时 ReToken 较均匀帧采样高 6.8 点。

    With K=1, ReToken achieves a 6.8-point improvement over uniform sampling, while ReKV actually performs slightly worse than uniform sampling.

  6. §1注意力检索在 QAEgo4DTest-MC 上各层平均 recall@1 仅 5.1%。

    the attention-based retriever achieves only 5.1% average recall@1 across layers on QAEgo4DTest-MC for Qwen3VL-8B (Fig. 1(b)).

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：解码器-only 的任意模态到任意模态多元建模

arXiv:2607.25948P1 顶会正文（arXiv HTML）参考来源 [2]

要解决的问题
既有 any-to-any 多模态模型多采用 encoder–decoder 或 diffusion 从零训练，难以利用大规模预训练 decoder-only 先验，训练成本高、扩展性与语义保真受限；现有 decoder-only 多模态系统也大多局限在文本与 RGB，缺少对称的任意模态互生成。
方法
Modus 在 BAGEL-7B 的 Mixture-of-Transformers 解码器内统一建模：离散 1D 模态用 next-token prediction，连续 2D 模态在 VAE latent 上用 flow matching；统一序列 tokenization（SigLIP-2 ViT + FLUX VAE），无模态专用 head 或任务流水线。训练采用 uniform timestep sampling 缓解模态混淆，三阶段课程扩展模态与多条件输入，数据为 29M 对齐样本的 Modus-Dataset。
主要结果
单模型零样本覆盖 VQA、文生图、深度、法线、grounding、DINO 检索等；Table 1 中 Modus 为 MMMU 51.1、GenEval 0.81、DIODE 深度 0.285、NYUv2 法线 19.92、RefCOCOval grounding 54.5、ImageNet 检索 77.9 / 92.5，与专精及多任务 any-to-any 基线同档。跨模态自验证在 best-of-4 文生图上将 GenEval 从 0.81 提到 0.84。
局限
作者指出当前模态覆盖具代表性而非穷尽，扩展音频或 3D 等主要依赖数据与 tokenization；正文亦强调多数基准仍以 RGB 或文本为中心，非标准 any-to-any 映射定量较少。
意义
表明在单一 decoder-only 骨干上，通过对称 token 序列与训练配方即可扩展至十余种模态的 any-to-any 生成，并保留预训练先验，为统一多模态生成与链式、自验证等组合能力提供有多基准实验支持的统一建模路径。

正文出处

  1. Table 1单模型在 Table 1 多项零样本基准上的数值与专精、any-to-any 基线同场对比。

    Modus (Ours) 51.1 0.81 0.285 19.92 54.5 77.9 / 92.5

  2. §4.4跨模态自验证（VQA + Grounding）将文生图 GenEval 从 0.81 提升至 0.84。

    Both signals improve generation, lifting GenEval from 0.81 to 0.84.

  3. §1发布模型支持 15 种模态，训练语料为 29M 样本的 Modus-Dataset。

    Modus extends a single model to 15 modalities spanning geometry, structure, semantics, and learned representations, trained on the 29M-sample Modus-Dataset.

  4. §4.2同一单模型在深度、法线、grounding 与检索等任务上与单任务专精模型仍具竞争力。

    Modus covers all of these tasks within a single model while remaining competitive with them across depth, surface normals, grounding, and retrieval.

  5. Table 2经 canny 边中间模态链式生成在 NYUv2 法线上为 19.87。

    RGB → Canny → Surface Normal Layout 19.87

  6. §5模态集合尚未穷尽，音频与 3D 等扩展主要取决于数据与 tokenization。

    Modus's current modality coverage is representative rather than exhaustive, extending to further modalities such as audio or 3D structure is primarily a matter of dataset construction, tokenization, and application demand

论文推荐

按必读、方法亮点、数据与评测、开源项目分组，每篇附推荐理由

必读3

方法亮点5

数据与评测1

开源项目1

领域洞察

按研究方向分组，各写一段本周的研究动向与判断

生成

本周 5 篇

图编辑 2 文生图 2 视频生成 1

生成组本周 5 篇；视频生成 1 篇，低于前 4 周 P1 周均 4.0 篇。文生图与图编辑各 2 篇，共性是推理时干预（PARSE、AnchorSteer）与垂直任务定义（InnoText 视觉文本、LVTON 分层试衣[18]）。EgoPlay[1]将编辑推进到第一人称事件流，强调事件前后时序约束与约 10.6 万级配对数据，而非通用 T2V 放量。

相关论文

理解

本周 6 篇

VLM 6

理解组 6 篇均为 VLM 主方向，低于前 4 周 P1 周均 16.8 篇。本周 VLM 工作覆盖延迟、token 预算、组合检索与 agentic RL：单图物理属性 SiPhy[19]、组合检索 LCSE[14]、高分辨率剪枝、端侧 UltraViT、长上下文 ReToken、多轮智能体 HyGAE。

相关论文

音频

本周 6 篇

音频 6

音频组 6 篇，低于前 4 周 P1 周均 15.8 篇。INTERSPEECH 录用集中体现三条线：临床与副语言（克隆增强[4]、AD 声学解耦[5]、芬兰语情感）、说话人短段表示[17]、部署与工具化（kiloVAD 约 2.1k 参数、WeSep 线索组合 TSE）。本周音频工作覆盖因果评测、子群审计与模块化复用。

相关论文

基础模型

本周 2 篇

LLM 1 统一多模态 1

基础模型组 2 篇：MODUS[2]研究 decoder-only 对称 any-to-any 建模，并与专精、多任务基线对标；LLM 仅 1 篇[3]，低于前 4 周 LLM P1 周均 7.3 篇，聚焦系统提示下的对齐可控性与 steerability 报告规范。本周基础层呈小而精，未形成 LLM 放量。

相关论文

下周关注点

  • 跟踪 VLM 剪枝、ReToken 与 LCSE 在开源基座上的复现与算力—精度曲线。
  • INTERSPEECH 临床语音工作是否出现更多跨语言外部验证与部署评测。
  • 视频生成 P1 篇数回落后，egocentric 事件编辑数据协议会否被其他组跟进。
  • MODUS 类 any-to-any 与专精扩散/音频模型在延迟与模态覆盖上的对比讨论。
  • 概念擦除与推理时对齐方法在 safety 评测（如 BEUS）上的横向对照。

参考来源

  1. [1]EgoPlay: Event-Triggered Video Editing for Egocentric StreamsarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  2. [2]MODUS: Decoder-Only Any-to-Any Modeling of Diverse ModalitiesarXiv · 2026-07-29 · 正文（arXiv HTML） · 访问于 2026-10-19↩
  3. [3]Auditing Alignment Controllability in LLMs via Political AxesarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  4. [4]Synthetic Speech, Real Signal: Paralinguistic Preservation and Cross-Lingual Augmentation via Voice CloningarXiv · 2026-07-27 · 摘要 · 访问于 2026-10-19↩
  5. [5]Disentangling Acoustic Cues in Alzheimer's Pathology and Perception: The Roles of Language and GenderarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  6. [6]Looking for Affect in Spontaneous Finnish Speech through Linguistic InterpretabilityarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  7. [7]Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMsarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  8. [8]UltraViT: Latency-Optimized On-device Vision Encoder for Large Vision-Language ModelsarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  9. [9]ReToken: Improving Long-Context VLMs with Visual Retrieval TokenarXiv · 2026-07-31 · 正文（arXiv HTML） · 访问于 2026-10-19↩
  10. [10]Hybrid Advantage Estimation with Unified Critic for VLM Agentic Reinforcement LearningarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  11. [11]To Erase, or Not to Erase: Robust Training-Free Concept Erasure with Preservation aware Adaptive Ranked Subspace ExpansionarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  12. [12]Anchoring and Steering Diffusion: Enhancing the Faithfulness of Text-to-Image Generation at Inference TimearXiv · 2026-07-30 · 摘要 · 访问于 2026-10-19↩
  13. [13]InnoText: A Unified Model for Visual Text Generation and EditingarXiv · 2026-07-27 · 摘要 · 访问于 2026-10-19↩
  14. [14]Similarity Is Not Logic: Factored Inference for Dual-Encoder Vision-Language ModelsarXiv · 2026-07-28 · 正文（arXiv HTML） · 访问于 2026-10-19↩
  15. [15]VAD to the Bone: Ultra-Tiny Speech Activity Detection for Edge DeploymentarXiv · 2026-07-29 · 摘要 · 访问于 2026-10-19↩
  16. [16]WeSep: A Modular and Cue-Composable Framework for Target Speaker ExtractionarXiv · 2026-07-31 · 摘要 · 访问于 2026-10-19↩
  17. [17]Beyond Short Segments : Expanding Speaker Embeddings with Vector ArchivesarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  18. [18]Layering Virtual Try-OnarXiv · 2026-07-28 · 摘要 · 访问于 2026-10-19↩
  19. [19]SiPhy: Single-Image Physical Property ReasoningarXiv · 2026-07-27 · 摘要 · 访问于 2026-10-19↩