Gemma 4 Technical Report

深度解读

方法与架构

Gemma 4 是原生多模态、开放权重的 decoder-only Transformer 模型族，包含 E2B、E4B、12B、31B 四个稠密配置，以及总参数 26B、激活参数 3.8B 的 26B-A4B MoE 配置；E2B 与 E4B 通过逐层嵌入形成 2.3B 和 4.5B 的有效参数规模 ^[1]（原文第 2 节、表 1）。

各尺寸采用不同的多模态输入设计：E2B 与 E4B 使用 150M 视觉编码器和 305M 音频编码器；31B 使用 550M 视觉编码器；12B 则取消独立视觉与音频编码器，以 35M 参数的矩阵投影处理 $48\times48\times3$ RGB 图像块，并把 16kHz 音频切成 40ms、640 维的片段后投影到 LLM 嵌入空间 ^[1]（原文第 2.1–2.3 节、表 1）。

长上下文优化同时作用于注意力布局与缓存：E2B 采用 4:1、其余模型采用 5:1 的局部注意力与全局注意力比例；全局层使用 $p=0.25$ 的 $p$-RoPE，并在 E2B、E4B 之外复用 key 作为 value，使全局 KV cache 缩减 37.5% ^[1]（原文第 2 节）。模型还配套四层 Transformer 的自回归 MTP drafter，用主模型激活与 KV cache 逐个起草后续 token，以支持推测解码 ^[1]（原文第 2.6 节、图 1）。

数据与训练

预训练语料覆盖网页文档、代码、图像和音频，其中音频用于 E2B、E4B 与 12B，数据截止时间为 2025 年 1 月；报告称数据经过 Benchmark 去污染，并过滤不安全内容与可能导致复述的材料 ^[1]（原文第 2.4 节）。但报告没有给出各模态数据量、配比、训练 token 数或完整优化器超参数 ^[1]（原文第 2.4 节）。

训练基础设施披露到模型级别：例如 E2B 使用 4,096 个 TPUv6e 芯片，12B 使用 12,288 个 TPUv4 芯片，31B 使用 10,240 个 TPUv6e 芯片；优化器状态采用 ZeRO-3 分片，多 pod 训练通过 Pathways 做数据副本归约 ^[1]（原文表 2、第 2.7 节）。后训练沿用与 Gemma 3 相近的流程，并加入可先输出推理轨迹的 thinking mode；数据过滤针对个人信息、不安全或有毒输出、错误自我身份与重复样本，也加入鼓励归因、保留意见和拒答的子集 ^[1]（原文第 3 节）。

评测结果

表 5 的官方自报结果显示，在 thinking mode 下，31B 在 AIME 2026 无工具设置为 89.2、LiveCodeBench v6 为 80.0、GPQA Diamond 为 84.3；同表中的 Gemma 3 27B 分别为 20.8、29.1、42.4 ^[1]（原文表 5）。表注明 Gemma 4 使用 thinking，而 Gemma 3 27B 为 non-thinking ^[1]（原文表 5、表 6）。编者判断：新旧模型的推理设置不同，不能把分数差异全部归因于架构升级。

视觉评测使用最高 1120 个视觉 token 时，31B 在 MMMU Pro 为 76.9、MATH-Vision 为 85.6；12B 分别为 69.1 和 79.7 ^[1]（原文表 6）。长上下文评测不使用 thinking：31B 在 RULER 128k 上为 96.4，26B-A4B 为 89.8，E4B 为 86.6；Gemma 3 27B 为 66.0 ^[1]（原文表 9）。

局限与值得关注的问题

报告的安全章节说明，训练数据虽过滤部分个人信息与敏感内容，但模型仍可能反映社会文化偏差、生成误导信息，开发者需要按具体应用继续监测与配置防护 ^[1]（原文第 5.2–5.5 节）。评测还主要由模型开发方完成，Arena 之外的大量结果属于官方自报；报告没有提供第三方复现或训练数据构成明细 ^[1]（原文第 4 节、第 2.4 节）。

编者判断：Gemma 4 最有研究价值之处不是单一分数，而是同一模型族把 encoder-free 多模态输入、长上下文缓存压缩、QAT 和 MTP drafter 放进可按硬件规模选择的体系。与此同时，12B 的无编码器路线与其他尺寸的冻结编码器路线并存，说明报告展示的是多条工程取舍，而非已经收敛的统一架构答案。