DeepSeek-V4: Towards Highly Efficient Million-Token Context Intelligence

深度解读

方法与架构

DeepSeek-V4 系列包含 DeepSeek-V4-Pro 与 DeepSeek-V4-Flash：前者为 1.6T 总参数、49B 激活参数，后者为 284B 总参数、13B 激活参数，二者均支持 1M-token 上下文 ^[1]（原文摘要、第 1 节）。模型保留 DeepSeekMoE 与 Multi-Token Prediction，新增 Manifold-Constrained Hyper-Connections（mHC）、CSA/HCA 混合注意力和 Muon 优化器 ^[1]（原文第 2 节）。

CSA 先把每 $m$ 个 token 的 KV cache 压成一个条目，再由索引器选择 top-k 压缩条目；HCA 使用更大的压缩率 $m'$，但对压缩条目执行稠密注意力。两者都另设滑动窗口分支，以补足压缩块内部和近期 token 的局部依赖 ^[1]（原文第 2.3.1–2.3.3 节）。Flash 的 CSA 压缩率为 4、top-k 为 512，HCA 压缩率为 128；Pro 的对应值为 4、1024、128 ^[1]（原文第 4.2.1 节）。

mHC 将残差流扩展为多路，并把残差映射约束为双随机矩阵；报告给出的动机是把映射谱范数限制在 1 以内，降低深层堆叠中的数值不稳定 ^[1]（原文第 2.2 节）。Muon 用于多数矩阵参数，嵌入、预测头和 RMSNorm 等仍使用 AdamW ^[1]（原文第 2.4、4.2.2 节）。

数据与训练

预训练语料超过 32T tokens，包含数学、代码、网页、长文档和多语言材料；报告说明会过滤批量自动生成与模板化网页，并加强科学论文、技术报告等长文档 ^[1]（原文第 4.1 节）。Flash 训练 32T tokens，Pro 训练 33T tokens；序列长度均从 4K 逐步扩展至 16K、64K 和 1M ^[1]（原文第 4.2.2 节）。Flash 前 1T tokens 使用稠密注意力，至 64K 阶段引入稀疏注意力；Pro 使用更长的稠密阶段，但沿用两阶段稀疏化方案 ^[1]（原文第 4.2.2 节）。

后训练先按数学、代码、Agent 和指令遵循等领域分别进行 SFT 与 GRPO，再通过多教师 On-Policy Distillation 合并为统一模型；该阶段使用超过 10 个教师，并以完整词表的 reverse KL 进行蒸馏 ^[1]（原文第 5.1.1–5.1.2 节）。部署侧还对 MoE 专家权重和 CSA 索引器 QK 路径做 FP4 量化感知训练 ^[1]（原文第 5.2.1 节）。

评测结果

效率估算显示，在 1M-token 上下文下，DeepSeek-V4-Pro 的单 token 推理 FLOPs 与 KV cache 分别为 DeepSeek-V3.2 的 27% 和 10%；Flash 分别为 10% 和 7% ^[1]（原文图 1、第 1 节）。这些 FLOPs 按等效 FP8 计量，并包含报告设定的精度权重，不能直接当作实测吞吐 ^[1]（原文第 1 节）。

基础模型统一内部设置下，LongBench-V2 1-shot EM 从 V3.2-Base 的 40.2 提升至 Flash-Base 的 44.7 和 Pro-Base 的 51.5；但 BigCodeBench 3-shot Pass@1 分别为 63.9、56.8、59.2，说明并非所有任务都随版本提升 ^[1]（原文表 1、第 4.3 节）。后训练评测中，Pro-Max 在 MRCR 1M 的 MMR 为 83.5、CorpusQA 1M 的 ACC 为 62.0；报告同时指出 MRCR 在超过 128K 后出现可见退化 ^[1]（原文表 6、图 9、第 5.3.2 节）。

局限与值得关注的问题

报告将该版本称为 preview，并承认架构为追求长上下文效率而较复杂；Anticipatory Routing 与 SwiGLU Clamping 虽缓解训练不稳定，但原理仍未充分理解 ^[1]（原文第 4.2.3、6 节）。部分 Agent、写作和真实任务结果来自内部 harness、内部数据或人工评测，外部复核条件并不完整 ^[1]（原文第 5.3–5.4 节）。

编者判断：报告的主要研究价值在于把注意力压缩、训练稳定性、分布式内核、KV cache 持久化和百万 token 后训练连成完整系统说明；但效率数字以估算为主，能力比较又混合不同推理强度与 harness，适合验证设计取舍，不宜脱离设置概括为统一排名。