End-to-End Multi-Modal Diffusion Mamba(在新窗口打开)
MDM 用 Mamba 多步选择扩散与统一 VAE 编解码,端到端同时生成高分辨率图像与长文本。
- MDM:Mamba 扩散在统一 VAE 下渐进生成多模态信息
- 图像生成、caption、VQA、推理等任务优于 MonoFormer 等端到端模型
- 与 GPT-4V、Gemini Pro 等 SOTA 可比并保持计算效率
前沿论文
14 大方向 · 三级优先筛选 · 每日更新
最近更新:2026-10-16 13:30
这一天为历史补采:作者单位只来自 OpenAlex,入选论文比每日更新少;要点由 AI 根据论文摘要生成,以原文为准。
共 9 篇
MDM 用 Mamba 多步选择扩散与统一 VAE 编解码,端到端同时生成高分辨率图像与长文本。
为测试时扩展建立 LLM 与过程奖励模型信号的最优加权聚合理论,校准后仅用约两成算力即可优于常规 PRM 选答。
揭示对齐训练在拒答时压制而非抹除文化价值,内部 logit 仍与人类调查更一致。
构建 CoVAND 否定数据与 NegToMe 模块,缓解 VLM 在描述性检测中的肯定性偏见。
用截断影响函数 TIF 评估单条偏好数据对验证集的影响,提出模型相关的数据选择规则。
CCG-CFG 按文本与目标 speech 情感不一致程度动态调节引导,蒸馏后提升 CosyVoice2 情感对齐。
用注意力距离与未来影响指标揭示 preplan-and-anchor 推理节律,并设计针对性 RL 信用分配。
免训练解码:查询自适应自增强 prompt 与熵阈值调节候选 token,减轻 LVLM 幻觉。
提出 ViZer 框架,在无文本标注下对齐视觉与语言表示,增强现有 VLM 的描述质量。
没有符合条件的论文。