搜索Ctrl K
  • 榜单数据10-19 16:51
  • 论文数据10-20 18:44
  • 周报10-19 16:07

SenseNova-U1.5: Towards Native Unified Visual Intelligence

阅读约 1 分钟AI 生成已核查

本条目由 AI 按收录标准筛选与撰写,经独立的 AI 核查在原文中逐条找到依据,未经人工审核;数字与结论以原文为准。

商汤 SenseNova报告发布于 arXiv多模态

涉及模型SenseNova-U1.5SenseNova-U1NEO-unifyQwen3-VLGemma4-12B

阅读原文(在新窗口打开)
相关报告

收录理由

该报告阐述encoder-free与VAE-free原生统一架构、空间联合解码、分阶段训练与多专家强化学习及on-policy蒸馏,并给出多基准评测与训练代码开源计划。

关键要点

  1. SenseNova-U1.5为8B-MoT原生统一多模态模型,在无视觉encoder与VAE下承担理解、推理与视觉内容生成。
  2. 相对独立patch预测,采用空间联合重建:token映射到二维特征场,经卷积与Pixel Shuffle逐步重建图像。
  3. 后训练先为美学、双语文字渲染、信息图生成与图像编辑训练专用RL专家,再以多专家on-policy蒸馏合并能力。
  4. 每32×32图像区域对应一个视觉token,分辨率相关噪声尺度参考上限扩展至4096×4096。
  5. GenEval整体得分为0.92,正文称在所列开源模型中该指标表现最佳。
  6. 将开源训练代码,涵盖监督微调、强化学习与on-policy蒸馏。

参考来源

  1. [1]SenseNova-U1.5: Towards Native Unified Visual Intelligence(在新窗口打开)商汤 SenseNova · 2026-09-10 · 访问于 2026-10-20