Mitigating Object Hallucinations in Large Vision-Language Models with Assembly of Global and Local Attention（在新窗口打开）
AGLA 无训练即插即用，融合全局生成与局部判别注意力以减轻 LVLM 物体幻觉。
- 指出 LVLM 过度关注无关全局特征导致物体幻觉
- 提出图像-提示匹配增强视图与 logit 校准的 AGLA
- 在判别与生成任务上验证幻觉缓解效果
前沿论文
17 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-20 18:44
返回聚合视图2024-06-19 周三共 22 篇：生成 1 · 代码生成 0 · 智能体 0 · 世界模型与具身 0 · 理解 2 · 音频 9 · 多语 1 · 基础模型 9
- 生成
- 文生图 1图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0代码 Agent 0工具调用 0
- 世界模型与具身
- 世界模型 0具身智能 0
- 理解
- VLM 2OCR 0
- 音频
- 音频 9
- 多语
- 多语言与翻译 1
- 基础模型
- LLM 9统一多模态 0
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 22 篇
AITTI: Learning Adaptive Inclusive Token for Text-to-Image Generation（在新窗口打开）
学习自适应 inclusive token 与轻量映射网络，无需显式属性即可缓解文生图刻板偏见。
- 提出无需指定偏见属性分布的自适应 inclusive token 去偏框架
- 用少量平衡样本与 anchor loss 训练映射网络，泛化至未见概念
- 在保持文本对齐前提下优于无属性指定的既有去偏方法
BPO: Staying Close to the Behavior LLM Creates Better Online LLM Alignment（在新窗口打开）
提出在线 BPO，强调对齐模型应靠近采集样本的行为 LLM，在多任务上显著优于离线 DAP 基线。
- 指出在线 DAP 需专门算法，对齐应约束在行为 LLM 邻近信任域
- 提出 Behavior-proximal 在线 Preference Optimization（BPO）
- 与多种 DAP 方法结合，在 TL;DR、Anthropic Helpfulness 等任务上大幅提升胜率
Attention Score is not All You Need for Token Importance Indicator in KV Cache Reduction: Value Also Matters（在新窗口打开）
提出 VATP，联合 attention 与 value 向量 L1 范数做 token 剪枝，在长上下文任务上优于仅用 attention 的基线。
- 发现 value 向量范数呈显著非均匀模式，质疑仅用 attention score 评估重要性
- 提出 Value-Aware Token Pruning（VATP）联合 attention 与 value L1 范数
- 在 LLaMA2-7B-chat 与 Vicuna-v1.5-7B 的 16 个 LongBench 任务上验证有效性
Speak in the Scene: Diffusion-based Acoustic Scene Transfer toward Immersive Speech Generation（在新窗口打开）
提出声学场景迁移任务与 AST-LDM，在保留原语音内容的同时生成目标环境声学场景。
- 定义 Acoustic Scene Transfer（AST）生成式语音新任务
- 提出 CLAP 条件 latent diffusion 基线 AST-LDM
- 主客观实验验证保留语音与场景一致生成的可行性
Is poisoning a real threat to LLM alignment? Maybe more so than you think（在新窗口打开）
系统分析 DPO 在多种投毒场景下的脆弱性，少量数据即可触发有害行为，较 PPO 类方法更易受攻击。
- 首次系统比较 preference poisoning 等对 DPO 的攻击效果
- 覆盖 backdoor 与非 backdoor 攻击及 Llama、Mistral、Gemma 等模型
- 发现 DPO 在约 0.5% 投毒数据下即可被利用，并分析成因与攻击类型差异
Towards Audio Codec-based Speech Separation（在新窗口打开）
在神经音频 codec 嵌入空间做语音分离，Codecformer 推理 MAC 降约 52 倍且性能接近 Sepformer。
- 定义 Audio Codec-based Speech Separation 新任务设定
- 提出 Codecformer 在 NAC 嵌入空间完成分离
- 推理计算量约为 Sepformer 云部署的 1/52，分离质量可比
Nash CoT: Multi-Path Inference with Preference Equilibrium（在新窗口打开）
Nash CoT 在每条推理路径上平衡角色化与通用 LLM 输出，少路径逼近多路径 CoT 精度。
- 指出多路径 CoT 依赖路径数量、推理成本高的局限
- 用角色模板与路径内博弈均衡角色专精与生成多样性
- 在阿拉伯推理、常识问答与符号推理上达到或优于同等路径数的多路径 CoT
Learn Beyond The Answer: Training Language Models with Reflection for Mathematical Reasoning（在新窗口打开）
提出 reflective augmentation，在训练中嵌入问题反思，提升标准与需反思场景的数学推理表现。
- 提出 reflective augmentation，将多角度、抽象与类比融入训练样本
- 在标准与复杂反思场景下验证方法有效性与独特优势
- 表明与现有数据增广方法互补
Performant ASR Models for Medical Entities in Accented Speech（在新窗口打开）
在 93 种非洲口音临床英语数据上系统评测 ASR，微调可显著降低 medical WER。
- 揭示整体 WER 低时临床实体错误仍可能较高，存在患者安全风险
- 提出 ASR 预测与临床实体对齐算法，定义 medical NE Recall 与 medical WER
- 口音临床语音微调使 medical WER 相对降低约 25–34%
OlympicArena: Benchmarking Multi-discipline Cognitive Reasoning for Superintelligent AI（在新窗口打开）
发布含 11163 道双语、纯文本与图文交错题的奥运级多学科推理基准与评测资源。
- 构建跨七大学科 62 项国际竞赛的认知推理基准 OlympicArena
- 系统评估模态、过程级推理及先进模型在复杂题上的局限
- 提供数据集、标注平台、评测工具与自动提交排行榜
SafeInfer: Context Adaptive Decoding Time Safety Alignment for Large Language Models（在新窗口打开）
提出解码时两阶段 SafeInfer（安全放大与安全引导解码），并发布 HarmEval 安全评测基准。
- SafeInfer 含安全示范放大隐藏状态与安全分布引导解码两阶段
- 针对对齐脆弱性与知识编辑削弱安全的问题提供解码时方案
- 发布 HarmEval 以覆盖领先 AI 政策下的潜在滥用场景
Rapid Language Adaptation for Multilingual E2E Speech Recognition Using Encoder Prompting（在新窗口打开）
在 self-conditioned CTC 中引入 encoder prompting，零样本语言特化适配，平均错误降约 28%。
- 为 CTC 架构设计 encoder prompting，弥补其难以使用语言 prompt 的局限
- 在已知语言场景下实现零样本语言特定适配
- 低资源语言错误相对降低约 41%，整体平均约 28%
Unsupervised Online Continual Learning for Automatic Speech Recognition（在新窗口打开）
用自训练扩展 ASR 的无监督在线持续学习，减轻灾难性遗忘并接近有监督 OCL 表现。
- 将 ASR 在线持续学习拓展到无标签、任务边界未知的流式场景
- 借助 self-training 实现无监督持续适配且降低遗忘
- 对比多种 OCL 与 ST 方法，并提出 UOCL 扩展以进一步提升效果
Universal Score-based Speech Enhancement with High Content Preservation（在新窗口打开）
在 UNIVERSE 上改进架构与对抗训练，并用 LoRA 与音素保真损失提升增强语音的内容保持与质量。
- 改进 score-based diffusion 网络结构，提升训练稳定性与性能
- 引入对抗损失以学习高质量语音特征
- 提出带 phoneme fidelity loss 的 LoRA 方案以更好保留语音内容
Instruction Data Generation and Unsupervised Adaptation for Speech Language Models（在新窗口打开）
用 LLM 与 TTS 合成图文语音指令数据，并探索无标注语音扩展多语 speech LM。
- 提出三种合成样本方法以训练评测文本+语音多模态模型
- 缓解双模态训练数据稀缺并建模 speech-text 跨模态关系
- 展示无转写标注语音生成样本的质量与多语言扩展潜力
An Investigation of Neuron Activation as a Unified Lens to Explain Chain-of-Thought Eliciting Arithmetic Reasoning of LLMs（在新窗口打开）
以 FFN 推理神经元激活解释 CoT 各组件重要性，并用 GPT-4 辅助自动识别算术推理相关神经元。
- 用 feed-forward 层神经元激活统一解释 CoT 提示中各组件作用
- 提出基于 GPT-4 自动识别蕴含算术推理的神经元
- 在 Llama2 上验证推理神经元激活可解释既有 ablation 观察
Challenging margin-based speaker embedding extractors by using the variational information bottleneck（在新窗口打开）
用变分信息瓶颈在概率框架下隐式压低目标说话人后验，说话人识别结果与 AAM 损失相当。
- 从 margin 损失仅压低目标 logit 的动机出发建立概率化视角
- 用 variational information bottleneck 使确定性节点随机化并隐式约束后验
- 在多种说话人识别基准与打分方式上达到与 Additive Angular Margin 相当的竞争力
When Reasoning Meets Information Aggregation: A Case Study with Sports Narratives（在新窗口打开）
用 NBA 真实数据与 SportsGen 合成叙事，系统评估 LLM 在复杂叙事中的信息聚合与推理能力。
- 强调信息聚合在 LLM 推理中的关键作用，以体育叙事为任务载体
- 提出 SportsGen 合成比赛叙事以可控评估叙事长度与信息密度
- 揭示主流模型在频繁得分场景下易聚合错误，开源模型存在得分幻觉
MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts（在新窗口打开）
发布 22 语、5 平台社交媒体机器文本检测基准 MultiSocial，并比较零样本与微调检测器。
- 构建含约 47 万条文本的首个多语言多平台社交媒体机器生成文本检测数据集
- 覆盖 7 个多语 LLM 生成与人类撰写样本的对比设定
- 表明微调检测器可适配社交媒体短文本，且训练平台选择影响显著
Slot State Space Models（在新窗口打开）
将 SSM 状态拆为多 slot 独立转移并以稀疏注意力交互，在物体中心学习、3D 推理与长视频理解上优于现有序列模型。
- 提出 SlotSSMs，用多 slot 状态与 per-slot 转移建模模块化时序过程
- 通过 self-attention 瓶颈实现 slot 间稀疏交互
- 在物体中心学习、3D 视觉推理与长上下文视频理解任务上取得明显增益
Growing Trees on Sounds: Assessing Strategies for End-to-End Dependency Parsing of Speech（在新窗口打开）
在法语口语树库上比较图结构与序列标注两种范式，直接语音句法分析优于 ASR+parser 流水线。
- 系统评估 graph-based 与 sequence labeling 两种语音依存分析范式
- 在大规模自发口语法语树库上完成 realistic 场景评测
- 图方法整体更优；直解析语音在参数量少约 30% 时仍优于流水线
没有符合条件的论文。