DiffusionGemma: 4x faster text generation
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告说明扩散文本生成架构、并行块解码与 MoE 推理激活方式，给出专用 GPU 吞吐与量化显存占用等可核对信息，并说明权重开源及开发工具集成路径。
关键要点
- 以 Apache 2.0 许可发布，为 26B Mixture of Experts 模型，推理时仅激活 3.8B 参数。
- 在专用 GPU 上相较典型自回归 LLM 的逐 token 生成，文本生成最高可达约 4 倍加速。
- 量化后可在约 18GB VRAM 的高端消费级独显上限内运行。
- 每次前向传播并行生成 256 个 token，各 token 可双向 attend 至块内其余 token。
- 单卡 NVIDIA H100 上可达 1000+ tokens per second，NVIDIA GeForce RTX 5090 上为 700+ tokens per second。
- 因优先速度与并行布局，整体输出质量低于标准 Gemma 4，面向本地低并发、速度关键的交互工作流。