kNN Retrieval for Simple and Effective Zero-Shot Multi-speaker Text-to-Speech（在新窗口打开）
仅单说话人转写数据训练，借 SSL 特征线性关系做 kNN 检索，客观与主观评测接近大数据 SOTA TTS。
- kNN-TTS：利用不同说话人 SSL 特征线性邻近共享音素、保留身份
- 训练数据需求低，适合低资源领域与语言的多说话人系统
- 插值参数支持细粒度 voice morphing
前沿论文
17 大方向 · 三级优先筛选 · 每日更新
最近更新：2026-10-20 18:44
返回聚合视图2024-08-21 周三共 7 篇：生成 1 · 代码生成 0 · 智能体 0 · 世界模型与具身 1 · 理解 3 · 音频 2 · 多语 0 · 基础模型 0
- 生成
- 文生图 1图编辑 0视频生成 03D 生成 0
- 代码生成
- Visual2Code 03D2Code 0
- 智能体
- GUI Agent 0代码 Agent 0工具调用 0
- 世界模型与具身
- 世界模型 0具身智能 1
- 理解
- VLM 3OCR 0
- 音频
- 音频 2
- 多语
- 多语言与翻译 0
- 基础模型
- LLM 0统一多模态 0
这一天为历史补采：作者单位只来自 OpenAlex，入选论文比每日更新少；要点由 AI 根据论文摘要生成，以原文为准。
共 7 篇
FLAME: Learning to Navigate with Multimodal LLM in Urban Environments（在新窗口打开）
多模态 LLM 智能体 FLAME 三阶段微调适配城市 VLN，Touchdown 任务完成率较 SOTA 提升 7.3%。
- FLAME 架构高效处理多观测，面向城市 vision-and-language navigation
- 单感知、多感知与端到端 VLN 三阶段 tuning，数据自动合成增强
- Touchdown 上超越现有方法，展示 MLLM 在复杂导航中的潜力
MUSE: Mamba is Efficient Multi-scale Learner for Text-video Retrieval（在新窗口打开）
在 CLIP 特征上建金字塔，用线性复杂度 Mamba 联合学习多尺度表示，三个 TVR 基准上表现更优。
- 提出多尺度 Mamba，以线性复杂度做跨分辨率建模
- 末层单尺度特征经特征金字塔生成多尺度表示并 scale-wise 联合学习
- 系统研究结构与 design，在三个流行 TVR 基准验证 superiority
CLIP-DPO: Vision-Language Models as a Source of Preference for Fixing Hallucinations in LVLMs（在新窗口打开）
用 CLIP 相似度从 SFT 数据构造 DPO 偏好对，降低 MobileVLM-v2 与 LLaVA-1.5 的对象与关系幻觉。
- 用 CLIP 图像-文本相似度排序预测并经规则筛选得 DPO 正负对
- 无需付费 API、额外训练数据或部署外部 LVLM
- 减幻觉同时零样本分类更好，标准 LVLM 基准整体保持
HiRED: Attention-Guided Token Dropping for Efficient Inference of High-Resolution Vision-Language Models（在新窗口打开）
固定 token 预算下用 ViT CLS 注意力为高分区图像块分配预算并选 token，LLaVA-Next-7B 上 20% 预算显著提速省显存。
- 即插即用 HiRED，在固定预算内按分区信息量分配并 early drop
- HiRED-20% 提升 token 生成吞吐、降响应延迟并节省单卡推理显存
- 相对现有 token dropping 精度与性能更优，大批次可缓解 OOM
Perception-guided Jailbreak against Text-to-Image Models（在新窗口打开）
黑盒、model-free 的 PGJ 用 LLM 找与不安全词感知相近的安全短语替换，生成自然攻击提示。
- 基于「语义不同、人类感知相似」文本可致相近感知的设计 PGJ
- 不绑定具体 T2I 模型，生成高度自然的攻击 prompt
- 在六个开源模型与商业在线服务、大量 prompt 上验证有效
Audio Match Cutting: Finding and Creating Matching Audio Transitions in Movies and Videos（在新窗口打开）
自监督音频表示与粗到细 pipeline 推荐可 match 镜头并混合音频，标注数据集并评测表示与混合方法。
- 自动发现与创建视频中 audio match cut 的能力与任务设定
- 自监督音频表示 + 粗到细 pipeline 推荐镜头并生成混合转场
- 构建任务数据集并比较多种音频表示与混合策略
没有符合条件的论文。