DeepSeek 模型谱系

⑤ 模型谱系 × 技术理念 · 梁文锋 Insight

模型谱系 × 技术理念：一条「效率即壁垒」的主线

从 DeepSeek LLM 到 V4，DeepSeek 的每一代模型都不是孤立发布，而是同一条主线上的一级——把”省”做到算法与系统协同的极致，再把省下来的成本转化为定价权与开源影响力。本模块给每个节点标注它体现的四条理念，并用一张谱系时间轴、一张速查表把这条线画出来。技术细节与公式在 ⑥ 核心公式 展开；数字以研究档案 research/02-技术模型公式-dossier.md 附录「关键数字速查」为准。

[四条理念](#thesis)[谱系时间轴](#svgline)[速查表](#table)[逐模型精读](#nodes)[V4 · R2 · 稀疏脉络](#v4)[我的看法](#take)

一、贯穿谱系的四条理念

梁文锋在 暗涌深访里把 DeepSeek 的技术取向说得很清楚：护城河不在闭源，而在能持续产出原创的组织；成本领先是这套能力的外在结果。落到每一代模型上，可拆成四条彼此咬合的理念。

  ①

低成本

每项创新最终折算成「每 token 成本」。“低成本是一个结果，不是目的。” ②

极致效率

显存、激活算力、通信、训练精度——把每一处浪费都挤掉（MLA/MoE/FP8/稀疏注意力）。 ③

工程 × 算法协同

算法层与系统层一体设计（MLA×recompute、MoE×DualPipe、FP8×CUDA Core 累加）。 ④

开源引领

开放权重、公开论文，并开源部分训练/推理工具——“开源更像一个文化行为”，用生态影响力反哺人才与创新（完整数据/全量代码/流水线未开放，详见下文 R1 节）。

◆ 一手 · 暗涌《揭秘 DeepSeek》2024.7（可信度高）

在颠覆性的技术面前，闭源形成的护城河是短暂的。即使 OpenAI 闭源，也无法阻止被别人赶超。所以我们把价值沉淀在团队上……形成可以创新的组织和文化，就是我们的护城河。36 氪·暗涌《揭秘 DeepSeek》2024.7

● 主线：效率即壁垒

把四条理念连起来就是一句话——效率越高 → 成本越低 → 越敢开源与降价 → 生态与人才越强 → 越能持续做出下一个效率创新。这条正反馈是理解整个谱系的钥匙；它也埋下本报告最关心的追问：当效率组合拳被同行普遍吸收，“效率领先”是否会收敛？（这条张力在 ⑩ Q1 完整辩证；本页的落点见 我的看法）

二、原创谱系时间轴（2024.01 → 2026.04）

按发布时间排列，每个节点下方四枚色点表示它体现的理念（点亮=体现）。窄屏可左右滑动。

三、谱系速查表

数字以 research/02-技术模型公式-dossier.md 附录「关键数字速查」为准；理念列对应上文①②③④。带 * / ** 者见表下注。

  模型发布参数（总/激活）上下文关键创新理念来源

    DeepSeek LLM2024.017B / 67B（dense）4K用非嵌入 FLOPs/token \(M\) 重写 Scaling Law；多步学习率①③[@arxiv-2401-02954]
    DeepSeekMath2024.027B（dense）4KGRPO 首次提出；MATH 51.7%（不借工具）①②③[@arxiv-2402-03300]
    DeepSeek-V22024.05236B / 21B128KMLA（KV cache −93.3%、吞吐 5.76×）+ DeepSeekMoE；训练成本 −42.5%（vs 67B）①②[@arxiv-2405-04434]
    DeepSeek-V32024.12671B / 37B128KFP8 训练 + MTP + 无辅助损失均衡 + DualPipe；14.8T tokens；≈$5.58M*①③[@arxiv-2412-19437]
    DeepSeek-R1 / R1-Zero2025.01671B / 37B（基于 V3-Base）128KGRPO 纯 RL 强化并显化长链推理；对标 o1-1217；开放权重+技术报告+部分工具 + 蒸馏 6 个小模型；RL 阶段 ≈$294K***②④[@deepseek-r1]
    NSA（研究）2025.02研究模型长序列原生可训练稀疏注意力（压缩/选择/滑窗+门控）；64k 解码最高 ~11.6×②③[@arxiv-2502-11089]
    V3.1 / V3.22025.08–12671B / 37B 级128K+混合推理（think/non-think 合一）；Agent 强化（SWE-bench Verified 66.0）；DSA 稀疏注意力②③API 更新日志
    DeepSeek-V4 （Preview）模型 2026.04.24

arXiv 2026.04.26Pro 1.6T / 49B Flash 284B / 13B默认 1MCSA+HCA 混合注意力 · mHC · Muon 优化器 · Flash 32T / Pro 33T tokens；1M 下 FLOPs 27%、KV 10%（vs V3.2）②③^[1]

• V3 ≈$5.58M：仅 2.788M H800 GPU·时 ×$2/时的单次正式训练租卡估算，不含研发/消融/失败 run/数据/人力。 *** R1 ≈$294K：《自然》(2025.09) 披露，仅指强化学习(RL)阶段（512×H800×约 80h），不含约$6M 的基座成本，亦不含研发/人力。 ** V4 为预览版模型（论文自述「a preview version of the DeepSeek-V4 series」——preview 修饰模型系列，不表示报告未定稿）：技术报告 arXiv:2606.19348 已发布，本表的 CSA/HCA、mHC、Muon、1M 上下文、Flash 32T / Pro 33T、27% FLOPs、10% KV 与报告一致；后续正式版的架构参数与指标仍可能调整。模型上线(2026-04-24)与 arXiv 技术报告(2026-04-26，据 arXiv 官方元数据 v1 公开日期)相隔两天。R2 官方从未发布，任何”R2”一律不采用。

四、逐模型精读（按时间）

DeepSeek LLM（2024.01）· 先把 Scaling Law 搞对　①低成本③协同

对标 LLaMA 的开源基座，但把重心放在被社区忽视的 Scaling Law 研究上：用非嵌入 FLOPs/token (M) 取代参数量 (N) 拟合最优配比（(C=MD)），并发现”数据质量越高 → 越应把算力分给扩大模型”。这解释了 DeepSeek 后来”重数据质量、敢训大模型”的路线。理念注脚：梁批评行业”习惯 follow 而非创新”，要”站到技术前沿做原创式创新”。arXiv:2401.02954；公式见 [⑥ B6(6-formulas.html#scaling)]

DeepSeekMath（2024.02）· GRPO 的诞生地　①低成本②效率③协同

数学专用 7B，MATH 51.7%（不借外部工具）逼近当时顶级闭源。它的历史地位在于首次提出 GRPO——“用同一问题一组采样的平均奖励当基线”，省掉与策略同规模的价值网络。这颗算法种子后来长成了 R1。谱系上它虽在 V2 之前，却与 R1 共享同一条 RL 主线。arXiv:2402.03300；公式见 [⑥ B5(6-formulas.html#grpo)]

DeepSeek-V2（2024.05）· MLA + MoE，引爆价格战　①低成本②效率

这是”economical training + efficient inference”的分水岭：MLA（低秩 KV 联合压缩，KV cache 降 93.3%、吞吐 5.76×）＋ DeepSeekMoE（细粒度专家＋共享专家隔离），把 API 价格打到”几毛/百万 token”，被称”AI 界拼多多”，直接触发国内价格战。

◆ 一手 · 暗涌 2024.7（可信度高）

我们只是按照自己的步调来做事，然后核算成本定价。我们的原则是不贴钱，也不赚取暴利。36 氪·暗涌《揭秘 DeepSeek》2024.7

MLA/MoE 公式见 ⑥ B1/B2；“1 元/百万 token""约 GPT-4 Turbo 的 1/70”等为外界测算、非官方定价表。arXiv:2405.04434

DeepSeek-V3（2024.12）· 工程与算法协同的巅峰　①低成本③协同

用 2,048 张 H800、约 2.788M GPU·时 做到与顶级闭源同台。算法层（MLA/MoE/MTP）× 系统层（FP8 混合精度 / DualPipe 计算-通信重叠 / 定制 all-to-all kernel / 无辅助损失负载均衡）一体设计，是”③工程×算法协同”最集中的体现。

▲ 成本口径（务必 hedge）

常被引用的 ≈$5.58M 只是"最后一次正式训练 run"的 GPU 租卡估算（2.788M GPU·时 ×$2/时），不含研究、消融、失败 run、数据与人力。把它当成”DeepSeek 的 AI 总投入”是典型误读（详见 ⑦ DeepSeek 时刻）。arXiv:2412.19437

DeepSeek-R1 / R1-Zero（2025.01）· GRPO 纯 RL 激发推理　②效率④开源

R1-Zero 表明：在已预训练的 V3-Base 上、不使用任何 reasoning SFT 轨迹，纯 RL（GRPO）也能强化并显化长链推理与”aha moment”（严格说不是从零”涌现”——V3-Base 本身已含部分”aha”雏形，RL 的贡献与基座能力无法完全剥离，详见 ⑥ B7）；R1 再用多阶段流程做到与 OpenAI-o1-1217 相当，并开放权重＋技术报告＋部分训练/推理工具，蒸馏 6 个小模型（1.5B~70B）。它用规则奖励（accuracy+format）避开昂贵的神经奖励模型与 reward hacking——这是”②极致效率”在 RL 上的落点；而”把权重与方法都放出来”直接改变了全球叙事，是”④开源引领”的顶点。

▲ R1 成本口径（务必 hedge）

《自然》(2025.09) 披露的 ≈$294K 仅指强化学习(RL)阶段（512×H800×约 80h），不含约$6M 的基座（V3-Base）成本，也不含研发/人力。R1 是”在 V3 之上再做 RL”，两笔账不能相加或混淆。Nature s41586-025-09422-z, 2025.09 ▲ 开放边界（“开放权重”≠“全量开源”）

DeepSeek 开放的是：模型权重、技术报告/论文，以及部分训练/推理工具（Open-Source Week 放出的 FlashMLA、DeepGEMM、DualPipe、EPLB 等）。未开放的是：完整训练数据、全量训练代码与端到端可复现流水线。因此全站统一表述为”开放权重 + 技术报告 + 部分工具”，不写”全量开源”——这与 ⑩ 追问的”数据黑箱”是同一事实的两面。DeepSeek 各模型 GitHub/HuggingFace 仓库与技术报告；训练数据与完整流水线未公开

NSA（2025.02）· 把长上下文成本再压一个量级　②效率③协同

Natively trainable 的稀疏注意力：三分支（压缩粗粒度 / 选择细粒度 / 滑动窗口）＋可学习门控，配硬件对齐的 blockwise kernel，64k 序列上解码最高 ~11.6× 提速、性能不降反升。它是”算法与 GPU 访存/Tensor Core 联合设计”的又一典型；后续 V3.2 的 DSA 可视为同一稀疏注意力方向的后续产品实现，但公开资料不足以证明 DSA 直接继承了 NSA 的具体机制（二者的机制与公式对比见 ⑥ B9，本页第五节只作编年）。arXiv:2502.11089

V3.1 / V3.2（2025.08–12）· 效率战场转向”长上下文 × Agent”　②效率③协同

V3.1（2025-08-21）把 think / non-think 合进单模型（混合推理），显著增强 Agent 工具调用（SWE-bench Verified 66.0）；V3.2-Exp（2025-09）起把 NSA 的稀疏思想产品化为 DSA（DeepSeek Sparse Attention），V3.2（2025-12，含 Speciale）API 再降价。至此，“效率”的主战场从”训练成本”明显转向”长上下文推理成本”——这正是 Agent 时代的成本大头。DeepSeek API 更新日志

五、V4（Preview）、R2、以及”稀疏注意力”这条脉络

⚑ V4 为官方预览版模型（技术报告已发布）

DeepSeek-V4 已核实真实存在：V4-Pro（1.6T 总 / 49B 激活）与 V4-Flash（284B / 13B），默认 1M 上下文；采用 CSA+HCA 混合注意力、Manifold-Constrained Hyper-Connections（mHC）、Muon 优化器，训练 tokens Flash 32T / Pro 33T；在 1M 上下文下单 token 推理 FLOPs 仅为 V3.2 的 27%、KV cache 仅 10%。技术报告 arXiv:2606.19348 已发布，以上参数与报告一致——此处的 Preview 指模型系列本身是预览版（论文自述「a preview version of the DeepSeek-V4 series」），不是「报告未定稿、数字待核实」；真正需要保留的 hedge 只有一条：后续正式版的架构参数与指标可能调整。 时间线：模型 2026-04-24 上线，技术报告 ^[1] 2026-04-26 发布（据 arXiv 官方元数据，v1 公开于 2026-04-26），二者相隔两天、几乎同步。arXiv:2606.19348（V4 技术报告）· huggingface.co/blog/deepseekv4 · api-docs.deepseek.com

⚑ R2：官方从未发布

截至研究截止（2026-07），DeepSeek 官方更新日志未发布 R2。任何关于”R2”的参数、时间、能力的说法一律标【未证实 / 传闻】或不采用，本报告不采信任何”R2”细节。api-docs.deepseek.com/updates

◈ 一个方向：稀疏注意力（NSA · DSA · CSA/HCA）

“稀疏注意力”在 DeepSeek 是一个持续的研究方向，但要区分”研究”与”产品”，且不宜把三者描述成彼此直接继承的谱系：NSA（arXiv:2502.11089）是独立研究；产品线里的稀疏注意力以 V3.2-Exp 起的 DSA 为准；V4（Preview）进一步用 CSA+HCA 混合把 1M 上下文的推理成本压到 V3.2 的约 1/4。三者属同一稀疏化方向的不同落地形态——公开资料不足以证明 DSA 直接继承了 NSA 的具体机制，宜视为”同方向的后续产品实现”而非”NSA 的产品化版本”。一句话说清三代的差别：零件相同（压缩 / 选择 / 局部），装配方式不同——NSA 是三分支同层并行加门控，DSA 只留”索引器打分 ＋ 逐 query 选 Top-k”，V4 则把”先压缩再选择”串联、并拆到 CSA / HCA 两类层上交替。三代的 LaTeX 公式对比与演进动因，见 ⑥ B9「稀疏注意力三代」（本页只作编年）。它印证了理念②：效率的战场随时代前移——从 KV cache（V2）到训练算力（V3）再到长上下文推理（V3.2/V4）。arXiv:2502.11089（NSA）· DeepSeek-V3.2-Exp 技术说明（DSA）· DeepSeek API 更新日志 · arXiv:2606.19348（V4 技术报告）；“NSA→DSA 直接继承”无一手证据，为本报告审慎表述

六、我的看法

  我的看法 · 作者（AI）个人观点

把整条谱系竖起来看，DeepSeek 的叙事其实只有一句话：把”省”做到算法与系统协同的极致，再用”省”出来的成本去换定价权、开源影响力和人才。这条”效率即壁垒”的主线极其自洽——V2 省 KV cache、V3 省训练算力、R1 省一个价值网络、V3.2/V4 省长上下文推理，每一步的”省”都在市场上兑现为更低的每 token 价格。这也是梁文锋”成本第一”商业判断的物理基础。

但我必须给这条主线钉一个追问：这些”省”的招数几乎全都可被论文与开源复制，所以”效率领先”很可能正在收敛——真正不易复制的不是某个公式，而是”谁能持续产出下一个 MLA”的组织能力。换句话说：谱系是”果”，组织与人才才是”因”。（完整论据链与反面意见不在此重复，这条张力在 ⑩ Q1 完整辩证。）这条主线能走多远，取决于 ④ 里那台”愿景—工程”机器能否持续运转，也取决于 ⑩ 要追问的团队稳定性与商业模式边界。 → 本条在 ⑩ 展开为 Q1（低成本，是可持续的壁垒吗？）

信源（数字均以官方论文/文档为准）：DeepSeek LLM (arXiv:2401.02954)、DeepSeekMath/GRPO (arXiv:2402.03300)、V2/MLA+MoE (arXiv:2405.04434)、V3/FP8+MTP+无辅助损失 (arXiv:2412.19437)、R1 (arXiv:2501.12948)、NSA (arXiv:2502.11089)、V4 技术报告 (arXiv:2606.19348)；官方时间线见 DeepSeek API 更新日志。谱系与理念对照以 research/02-技术模型公式-dossier.md A 章 + 附录「关键数字速查」为准；R1 成本以《自然》s41586-025-09422-z (2025.09) 为准。

存疑与 hedge：V4 为预览版模型（preview 修饰模型系列，非报告未定稿）：技术报告 arXiv:2606.19348 已发布，CSA/HCA、mHC、Muon、1M、Flash 32T / Pro 33T、27%FLOPs、10%KV 均与报告一致，仅正式版参数与指标可能调整；模型上线(2026-04-24)与 arXiv 报告(2026-04-26)相隔两天；R2 官方未发布，一律不采用；V3 ≈$5.58M 仅正式训练 run 租卡估算、R1 ≈$294K 仅 RL 阶段（不含 ~$6M 基座），均不含研发/失败/人力；API 价格对比多为外界测算。

图片来源：论文原图共 7 张，均取自对应 arXiv 论文并逐张注明图号，仅作学术引用——V2 Fig.3（MLA vs MHA/GQA/MQA）与 V2 Fig.2（整体架构）取自 arXiv:2405.04434；V3 Fig.2（架构总览）、Fig.5 与 Fig.4（DualPipe 调度与计算-通信重叠）取自 arXiv:2412.19437；R1 Fig.1（基准对比）取自 arXiv:2501.12948；NSA Fig.2（三分支架构）取自 arXiv:2502.11089。谱系时间轴为本报告原创 SVG。

生成模型：Opus 4.8 · 独立 review agent 参与质量把关 · 最近更新：2026-07