SenseNova-U1: Unifying Multimodal Understanding and Generation with NEO-unify Architecture
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 arXiv 计算机视觉论文，阐述 NEO-unify 原生统一框架、近无损视觉接口、MoT 架构、分阶段联合训练与后训练，以及理解生成评测与 disaggregated 推理部署，并提供官方演示、代码与模型集合链接。
关键要点
- SenseNova-U1 在 NEO-unify 上将理解与生成作为同一底层过程的协同视图，而非分离架构或级联流水线。
- 该文发布 SenseNova-U1-8B-MoT 与 SenseNova-U1-A3B-MoT，分别建立在 dense（8B）与 mixture-of-experts（30B-A3B）理解基座之上。
- 视觉 patch 编码层卷积 stride 设为 16 与 2，使每个 token 对应 32 × 32 图像块；生成流经 MLP 头直接预测像素 patch。
- GenEval 上 SenseNova-U1-A3B-MoT 与 SenseNova-U1-8B-MoT 的 Overall 均为 0.91。
- 推理采用 LightLLM 负责多模态理解与文本流式，LightX2V 负责图像生成，经 pinned shared memory 交换生成状态。
- 初步证据表明模型在 vision–language–action 与 world model 场景中表现强劲。