• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

附录 A

阅读约 17 分钟AI 起草 · 人工审核已核查 · 已审核审核人 负责人

所属专题：Scaling Law · 第 13 章引语索引信源台账

专题章节

附录 A · 实录：SOTA 大模型都在 scaling 什么维度（2020–2026）

前面几章大多是”应然”：第 5–6 章讲原理（幂律与 (\alpha/A/E) 的分解），第 7 章讲方法（怎么拟合、怎么用），第 8 章讲局限，第 10–11 章讲未来轨迹与新基底。本附录切到”实然”——把 2020–2026 年真实厂商在真实时间里押注过的 scaling 维度摊开来看。它是第 4 章”万物皆可 scaling”在工业界的落地形态：各家并非沿单一 ((N,D)) 轴匀速前进，而是不断切换主战场；也是 10.6 节”计价单位上移”在时间线上的实录（分期对照见 10.6 节的表）。

口径声明（重要）：open-weight（权重开放，训练数据 / 代码通常不完全公开）阵营（Qwen、DeepSeek、Kimi、MiniMax、Llama、GLM）的数字取自各家技术报告或官方模型卡，并给出处编号：参数量可由公开权重核对，训练 token、效率倍数与基准分数则是厂商自报、未经独立复现（证据弱）；字节 Seed 不开放旗舰权重，数字取自官方博客，公开有限；闭源阵营（GPT、Claude、Gemini、Grok；xAI 曾开放 Grok-1 权重）几乎不披露参数量、数据量与训练细节，本附录凡涉及其规模的数字**一律为第三方估计或官方的定性说法，矩阵中标 、A.3 表中标 ★（证据弱），请勿当作事实*。选样为中国主要大模型厂商加美国四家闭源厂商，未含 Mistral 等；2026 年的发布截至 2026-09-24。Meta 2026 年的旗舰 Muse Spark 不开放权重，Llama 一行仍按原阵营列出（矩阵色条同此）。

A.1 一条行业主线：六年里先后出现五个主战场

把十一家串起来，会看到一条相当清晰的主线（也是下图的横轴逻辑；本文判断，中置信：这是对”主战场”的粗粒度归纳，各家实为多线并进，矩阵与 A.4 图的配色取该期最具代表性的新增维度）：

  • 2020–2022 · 拼 N/D（Kaplan 式）：GPT-3（175B）确立”先把参数做大”的范式（按 Kaplan 配比，数据增长慢于参数），这一时期的信仰是”越大越好”（第 2 章）。

  • 2022–2023 · Chinchilla 配比 + 数据质量：Chinchilla（第 3 章）指出多数模型”参数过大、数据不足”，主战场从”堆参数”转向”配平 (D)、并提升数据质量 / 配比”；同期 InstructGPT / ChatGPT 把 RLHF 对齐推上台前 [1]。

  • 2023–2024 · MoE + 长上下文 + 过训小模型：为把训练最优与推理最优解耦（3.4 节的推理感知配比），三件事并行发生——用 MoE 把”总参”与”激活参”分开（MoE 在 2020–21 年已有 GShard、Switch Transformer 等工作，这一时期成为旗舰标配）、把上下文从 4K/8K 拉到 128K–1M（Gemini 1.5 推到百万 token 级 [2]）、以及”小模型狂喂 token”的过训（Llama 3 的 8B@15T 是标志）。

  • 2024–2025 · RLVR + test-time compute：后训练的重心从 RLHF 对齐转向可验证奖励。o1 / o3 [3][4] 与 DeepSeek-R1 [5] 把”可验证奖励强化学习（RLVR）“与”推理时计算” [6] 推上台面（4.7、11.3 节）。

  • 2025–2026 · agentic + 原生多模态 + 高效长上下文：最新的主战场是”能自己用工具、跑多步任务”的 agentic 能力，叠加合成数据 / 自博弈——正是第 11 章”经验作为基底”的工业前身。原生多模态在 2023–24 年已由 Gemini 1.0 [7] 等闭源模型开启，到 2026 年成为多数权重开放旗舰的标配（Qwen3.5、Kimi K2.5 / K3、MiniMax-M3、DeepSeek-V4.1-Flash；GLM 到 8 月的 GLM-5.3-Flash 才首次原生多模态 [8]）。2026 年的发布还让两根轴重新变得显著（本文判断，中置信；逐家数字与出处见本节末表）：一是总参数重新放大，激活参数也在上升，但只占总参的约 3–5%——Kimi K3 2.8T / 104B（K2 为 1.04T / 32B）[9]、Qwen3.8 2.4T / 95B [10]、DeepSeek-V4-Pro 1.6T / 49B（V3 为 671B / 37B）[11]、GLM-5 744B / 40B（GLM-4.5 为 355B / 32B）[12]；MiniMax 是例外，M3 约 428B / 23B，仍小于 2025 年初 MiniMax-01 的 456B / 45.9B [13]。二是稀疏 / 线性注意力让 1M 上下文变成默认、变便宜（1M 本身在 2023–24 年已出现）：DeepSeek-V4 的 DSA 稀疏注意力 [11]、MiniMax-M3 的 MSA 稀疏注意力 [13]、Qwen3.5 / 3.8 的 Gated DeltaNet 线性注意力 [10]、Kimi K3 的 KDA 线性注意力与 Gated MLA 混合 [9]，GLM-5.3-Flash 也首次采用稀疏与线性注意力混合 [8]。

下图把十一家 SOTA 在各条 scaling 轴上的押注按时间摊平（轴的清单与收束见 A.4）。

图：SOTA 大模型 × 时间 × 主 scaling 维度矩阵（2020–2026）。图例见图内，数字口径见本附录开头的口径声明；2026 列为截至 2026-09-24 已正式发布的代表模型，依据见下表。系示意性梳理，非严格量化。

2026 列的依据（截至 2026-09-24，均为官方发布口径；闭源模型的参数量一律未公开）：

厂商2026 年代表发布（日期）官方给出的关键数字 / 定性出处| 厂商 | 2026 年代表发布（日期） | 官方给出的关键数字 / 定性 | 出处 |

QwenQwen3.5-397B-A17B（2026-02）；Qwen3.8-Max，权重开放版为 Qwen3.8-2.4T-A95B（2026-08）3.5：397B / 17B，Gated DeltaNet 线性注意力 + 稀疏 MoE，原生视觉-语言，语言数 119 → 201；3.8：2.4T / 95B，沿用 3.5 的架构，上下文最高 1M[10]| Qwen | Qwen3.5-397B-A17B（2026-02）；Qwen3.8-Max，权重开放版为 Qwen3.8-2.4T-A95B（2026-08） | 3.5：397B / 17B，Gated DeltaNet 线性注意力 + 稀疏 MoE，原生视觉-语言，语言数 119 → 201；3.8：2.4T / 95B，沿用 3.5 的架构，上下文最高 1M | [10] |

DeepSeekV4-Pro / V4-Flash（2026-04-24）；V4.1-Flash（2026-09-10）V4-Pro 1.6T / 49B、V4-Flash 284B / 13B；token 级压缩 + DSA 稀疏注意力，1M 上下文为默认；V4.1-Flash 为 552B MoE，原生视觉理解[11]| DeepSeek | V4-Pro / V4-Flash（2026-04-24）；V4.1-Flash（2026-09-10） | V4-Pro 1.6T / 49B、V4-Flash 284B / 13B；token 级压缩 + DSA 稀疏注意力，1M 上下文为默认；V4.1-Flash 为 552B MoE，原生视觉理解 | [11] |

KimiK2.5（2026-01-27）；K3（2026-07-16 发布，07-27 开放权重与技术报告）K2.5：在 K2 基座上用约 15T 视觉-文本混合 token 继续预训练，原生多模态；Agent Swarm（并行多智能体 RL，只更新调度者）。K3：2.8T / 104B（896 个路由专家每 token 激活 16 个），原生多模态，KDA 线性注意力与 Gated MLA 按 3:1 混合，1M 上下文；权重以自有许可证开放[14][9]| Kimi | K2.5（2026-01-27）；K3（2026-07-16 发布，07-27 开放权重与技术报告） | K2.5：在 K2 基座上用约 15T 视觉-文本混合 token 继续预训练，原生多模态；Agent Swarm（并行多智能体 RL，只更新调度者）。K3：2.8T / 104B（896 个路由专家每 token 激活 16 个），原生多模态，KDA 线性注意力与 Gated MLA 按 3:1 混合，1M 上下文；权重以自有许可证开放 | [14][9] |

MiniMaxM3（2026-06-01）约 428B / 23B；MSA 稀疏注意力，1M 上下文，1M 时每 token 计算量为上一代的 1/20；从第 0 步起多模态混合训练[13]| MiniMax | M3（2026-06-01） | 约 428B / 23B；MSA 稀疏注意力，1M 上下文，1M 时每 token 计算量为上一代的 1/20；从第 0 步起多模态混合训练 | [13] |

GLMGLM-5（2026-02）；GLM-5.3-Flash（2026-08-26）744B / 40B（GLM-4.5 为 355B / 32B），预训练数据 23T → 28.5T，集成 DSA；官方原话”Scaling is still one of the most important ways to improve the intelligence efficiency of Artificial General Intelligence”；5.3-Flash：320B / 18B，GLM-5 系列首个原生多模态模型，GLM 系列首次采用稀疏 + 线性注意力混合，1M 上下文[12][8]| GLM | GLM-5（2026-02）；GLM-5.3-Flash（2026-08-26） | 744B / 40B（GLM-4.5 为 355B / 32B），预训练数据 23T → 28.5T，集成 DSA；官方原话”Scaling is still one of the most important ways to improve the intelligence efficiency of Artificial General Intelligence”；5.3-Flash：320B / 18B，GLM-5 系列首个原生多模态模型，GLM 系列首次采用稀疏 + 线性注意力混合，1M 上下文 | [12][8] |

字节 SeedSeed2.0（2026-02-14；Pro / Lite / Mini / Code）；Seed2.1（2026-06-23；Pro / Turbo）官方定位为”通用 Agent 模型”，强调多模态理解与多约束、多步骤、长链路任务的执行；规模未公开，经火山引擎 API 提供；2.1 延续这一定位[15][16]| 字节 Seed | Seed2.0（2026-02-14；Pro / Lite / Mini / Code）；Seed2.1（2026-06-23；Pro / Turbo） | 官方定位为”通用 Agent 模型”，强调多模态理解与多约束、多步骤、长链路任务的执行；规模未公开，经火山引擎 API 提供；2.1 延续这一定位 | [15][16] |

MetaMuse Spark（2026-04-08 发布，不开放权重；发布时为私有 API 预览，后经 Meta Model API 公开预览）；Muse Glimmer（2026-08，30B，开放权重）Spark：“natively multimodal reasoning model”，支持工具使用与多智能体编排；Glimmer 由 Spark 蒸馏，Apache 2.0；Llama 品牌未推出新一代[17][18]| Meta | Muse Spark（2026-04-08 发布，不开放权重；发布时为私有 API 预览，后经 Meta Model API 公开预览）；Muse Glimmer（2026-08，30B，开放权重） | Spark：“natively multimodal reasoning model”，支持工具使用与多智能体编排；Glimmer 由 Spark 蒸馏，Apache 2.0；Llama 品牌未推出新一代 | [17][18] |

GPTGPT-5.5（2026-04-23）；GPT-6 Astra（2026-09-03）5.5 主打 agentic 编码与 computer use，API 上下文 1M；Astra：“big bets across pre-training, reinforcement learning, and alignment”；规模未公开[19]| GPT | GPT-5.5（2026-04-23）；GPT-6 Astra（2026-09-03） | 5.5 主打 agentic 编码与 computer use，API 上下文 1M；Astra：“big bets across pre-training, reinforcement learning, and alignment”；规模未公开 | [19] |

ClaudeOpus 4.6（2026-02-05）；Fable 5.1 / Mythos 5.1（2026-09-01）；Opus 5.5（2026-09-22）Opus 4.6 是首个提供 1M 上下文（beta）的 Opus 级模型；Fable 5.1 主打长时间运行的 agentic 编码与知识工作；规模未公开[20]| Claude | Opus 4.6（2026-02-05）；Fable 5.1 / Mythos 5.1（2026-09-01）；Opus 5.5（2026-09-22） | Opus 4.6 是首个提供 1M 上下文（beta）的 Opus 级模型；Fable 5.1 主打长时间运行的 agentic 编码与知识工作；规模未公开 | [20] |

GeminiGemini 3.1 Pro（2026-02-19）“natively multimodal reasoning models”，上下文 1M；规模未公开[21]| Gemini | Gemini 3.1 Pro（2026-02-19） | “natively multimodal reasoning models”，上下文 1M；规模未公开 | [21] |

GrokGrok 4.7（2026-09-21）“a new, larger base model”，“a longer reinforcement learning run”；官方称其为目前最强的编码与知识工作模型；规模未公开[22]| Grok | Grok 4.7（2026-09-21） | “a new, larger base model”，“a longer reinforcement learning run”；官方称其为目前最强的编码与知识工作模型；规模未公开 | [22] |

A.2 open-weight（权重开放）阵营：数值取自技术报告与模型卡

open-weight 阵营的价值在于”权重摊在阳光下、关键数值有技术报告可依”（口径见本附录开头）。下表以每家旗舰代表为一行；表下每家再用一句”差异化打法”补表里没有的演进主线、早期版本与算法要点。字节 Seed 不开放旗舰权重、只有官方博客，附在表末作对照；2026 年的新发布见 A.1 末表。

主打维度色标（沿用 A.1 图例）：预训练 N/D MoE 稀疏 长上下文 后训练 / 对齐 RL 推理 test-time 多模态 合成数据 agentic

厂商代表版本（年份）总参 / 激活训练 token上下文主打维度出处| 厂商 | 代表版本（年份） | 总参 / 激活 | 训练 token | 上下文 | 主打维度 | 出处 |

QwenQwen3-235B-A22B（2025）235B / 22B 128 专家选 836T 119 语言128KMoERL合成[23]| Qwen | Qwen3-235B-A22B（2025） | 235B / 22B128 专家选 8 | 36T119 语言 | 128K | MoERL合成 | [23] |

DeepSeekV3 → R1（2024–25）671B / 37B14.8T FP8；V3 完整训练 2.788M H800·时—MoERLVR[24][5]| DeepSeek | V3 → R1（2024–25） | 671B / 37B | 14.8TFP8；V3 完整训练 2.788M H800·时 | — | MoERLVR | [24][5] |

KimiK1.5 → K2（2025）1.04T / 32B K2；384 专家15.5T MuonClip128K K1.5 RL长上下文RLagentic[25][26]| Kimi | K1.5 → K2（2025） | 1.04T / 32BK2；384 专家 | 15.5TMuonClip | 128KK1.5 RL | 长上下文RLagentic | [25][26] |

MiniMaxMiniMax-01 → M2（2025）456B / 45.9B M2：230B / 10B— 线性注意力训练 1M / 推理 4M长上下文RLagentic[27][28][29]| MiniMax | MiniMax-01 → M2（2025） | 456B / 45.9BM2：230B / 10B | —线性注意力 | 训练 1M / 推理 4M | 长上下文RLagentic | [27][28][29] |

LlamaLlama 3.1 405B → Llama 4（2024–25）405B 稠密（3.1） Scout 109B / 17B · Maverick 400B / 17B15.6T（3.1） Scout ~40T · Maverick ~22T128K（3.1）→ 10M（Scout）/ 1M（Maverick）N/DMoE多模态[30][31]| Llama | Llama 3.1 405B → Llama 4（2024–25） | 405B 稠密（3.1）Scout 109B / 17B · Maverick 400B / 17B | 15.6T（3.1）Scout ~40T · Maverick ~22T | 128K（3.1）→ 10M（Scout）/ 1M（Maverick） | N/DMoE多模态 | [30][31] |

GLMGLM-4.5（2025）355B / 32B~23T ≈15T 通用 + 7T 代码/推理 + ~1.1T 中期128K GLM-4.6→200KMoERLagentic[32][33]| GLM | GLM-4.5（2025） | 355B / 32B | ~23T≈15T 通用 + 7T 代码/推理 + ~1.1T 中期 | 128KGLM-4.6→200K | MoERLagentic | [32][33] |

字节 Seed 非开放权重；出处为官方博客豆包 1.5 Pro（2025）激活 ≈ 稠密 1/7 绝对值未公开未公开 9T 为 MoE / 稠密对照实验的阶段性数据量；性能杠杆 7×—MoE多模态[34]| 字节 Seed非开放权重；出处为官方博客 | 豆包 1.5 Pro（2025） | 激活 ≈ 稠密 1/7绝对值未公开 | 未公开9T 为 MoE / 稠密对照实验的阶段性数据量；性能杠杆 7× | — | MoE多模态 | [34] |

  • Qwen：稠密 N/D 起家、数据规模单调加码（Qwen2→2.5：7T→18T token、128K 标配 [35][36]），Qwen3 的权重开放旗舰转为大 MoE（Qwen2 已有 57B-A14B 这样的中型 MoE [35]），并把 thinking / non-thinking 统一到一个模型、引入 thinking budget [23]，大量用 Qwen2.5-Math / Coder 合成数据。

  • DeepSeek：“稀疏效率 + RL 推理”最扎实：V2 用 MLA 压 KV cache（236B / 21B / 8.1T [37]）、V3 用 FP8 + 无辅助损失负载均衡、R1 先 cold-start CoT 再 GRPO 规则奖励，并验证纯 RL（R1-Zero，无 SFT）即可涌现长链推理。

  • Kimi：长上下文起家；K1.5 把 RL 上下文 scale 到 128K、用 partial rollout 提效；K2 用 MuonClip 做到”零 loss spike”，围绕 agentic（大规模 agent 数据合成 + 联合 RL）设计。

  • MiniMax：差异化在”用线性注意力（Lightning + Softmax 混合）把长上下文 scale 到百万级”（01，规模见上表）；M1 提出 CISPO，全量 RL 在 512 张 H800 上约三周完成（租用成本约 53.5 万美元）；生成 100K token 时的 FLOPs 约为 R1 的 25%，这是线性注意力在长输出上的推理优势，不是两者训练算力之比 [28]；M2 转小激活 agentic（SWE-bench Verified 69.4，厂商自报；该口径的有效性问题见 11.3 节，不可跨团队直接比较）。

  • Llama：权重开放阵营的”过训”路线——LLaMA（1.0–1.4T token [38]）、Llama 2（2T / 4K / RLHF [39]）→ Llama 3 的 8B / 70B 用 15T+ token，远超 Chinchilla 配比；旗舰 3.1-405B 则按 Meta 自拟的 scaling law 取近似算力最优（外推最优点为 402B 参数、16.55T token，约 41 token/参数；实际训练 405B / 15.6T，约 38）[30] → Llama 4 转 MoE + 原生多模态，另有未发布 Behemoth（≈288B 激活 / ~2T 总参）作 teacher [31] → 2026 年 Meta 超级智能实验室的旗舰 Muse Spark 不开放权重，只开放了由它蒸馏的 30B 模型 Muse Glimmer，Llama 品牌没有推出新一代 [17]。

  • GLM：国内少见的完整世代链——GLM-130B（130B / 中英各 200B 共 400B token / 序列 2048 [40]）→ ChatGLM 对话对齐 → GLM-4（~10T / 128K，GLM-4-9B 另有 1M 版；多模态 GLM-4V + All Tools [41]）→ GLM-4.5（SWE-bench Verified 64.2%、AIME24 91.0%，厂商自报，口径见 11.3 节 [32]）→ GLM-4.6（上下文 200K [33]）。

  • 字节 Seed：公开有限，不开放旗舰权重；豆包 1.5 Pro 走稀疏 MoE + 训练-推理一体化，官方称同 9T token 下把 MoE”性能杠杆”从业界不足 3× 提到 7×（厂商自报），主打多模态 + “不蒸馏他模型”的自主数据 [34]。

A.3 闭源阵营：数字多为推测，看”定性转向”

闭源四家（OpenAI / Anthropic / Google / xAI；xAI 2026 年 2 月并入 SpaceX，7 月起更名 SpaceXAI [42]）几乎不公布参数量、数据量与训练细节（xAI 开放过 Grok-1 权重），规模数字的口径见本附录开头；真正稳妥可讲的，是它们在”预训练 → 后训练 / RL → test-time compute”上的定性转向（下表”定性转向”列以维度色标示意，表下每家再补一句点评）。2026 年的新发布见 A.1 末表。

★ = 第三方估计，非官方（证据弱）；维度色标同 A.2。

厂商关键节点（年份）定性转向规模数值（★ = 第三方估计）出处| 厂商 | 关键节点（年份） | 定性转向 | 规模数值（★ = 第三方估计） | 出处 |

GPT OpenAIGPT-3（2020）N/D 起点175B（官方）—| GPTOpenAI | GPT-3（2020） | N/D起点 | 175B（官方） | — |

GPT-4（2023）MoE多模态★ ~1.8T 总 / ≈16 专家 / ≈280B 激活[43][44]| GPT-4（2023） | MoE多模态 | ★ ~1.8T 总 / ≈16 专家 / ≈280B 激活 | [43][44] |

o1 / o3 → GPT-5（2024–25）RLVRtest-time架构未公开；GPT-5 自动路由[3][4][45]| o1 / o3 → GPT-5（2024–25） | RLVRtest-time | 架构未公开；GPT-5 自动路由 | [3][4][45] |

Claude AnthropicClaude-1 / 2（2023）长上下文对齐~100K 上下文（Anthropic 2023 官方）；参数未公开[46]| ClaudeAnthropic | Claude-1 / 2（2023） | 长上下文对齐 | ~100K 上下文（Anthropic 2023 官方）；参数未公开 | [46] |

Claude-3.7 / 4（2025）test-timeagentic 扩展思考思考预算 ≤ 128K token；参数未公开[47]| Claude-3.7 / 4（2025） | test-timeagentic扩展思考 | 思考预算 ≤ 128K token；参数未公开 | [47] |

Gemini GoogleGemini 1.0（2023）多模态 原生多模态Ultra / Pro / Nano 三档；Ultra / Pro 参数未公开[7]| GeminiGoogle | Gemini 1.0（2023） | 多模态原生多模态 | Ultra / Pro / Nano 三档；Ultra / Pro 参数未公开 | [7] |

Gemini 1.5（2024）长上下文MoE官方称 MoE；百万 token 级上下文，研究中测到 10M 仍 >99% 检索；参数未公开[2]| Gemini 1.5（2024） | 长上下文MoE | 官方称 MoE；百万 token 级上下文，研究中测到 10M 仍 >99% 检索；参数未公开 | [2] |

Gemini 2.5 → 3（2025）test-time多模态2.5 Pro 为 thinking 模型；参数未公开[48][49]| Gemini 2.5 → 3（2025） | test-time多模态 | 2.5 Pro 为 thinking 模型；参数未公开 | [48][49] |

Grok xAIGrok-1（2023）MoE314B MoE（2024-03 开放权重，公开）[50]| GrokxAI | Grok-1（2023） | MoE | 314B MoE（2024-03 开放权重，公开） | [50] |

Grok-4（2025）RL 放大到预训练级20 万 GPU；训练算力较此前 >1 个数量级、算力效率约 6×（xAI 官方）[51]| Grok-4（2025） | RL放大到预训练级 | 20 万 GPU；训练算力较此前 >1 个数量级、算力效率约 6×（xAI 官方） | [51] |

  • GPT：从 N/D 样板转向 RL + test-time——GPT-3 立 N/D → InstructGPT / ChatGPT 把 RLHF 对齐推上台前 [1] → GPT-4（规模见上表 ★）→ GPT-4o 多模态一体化 → o1 用 RL 学长链思考 [3]，o3 在 ARC-AGI-1 半私有集上取得 75.7%（1 万美元预算内；172 倍算力的配置为 87.5%；所测版本在 75% 的公开训练集上训练过）[4]（推理时算力大增，回扣 [6]）→ GPT-5 用”自动路由器”统一快答 / 深思 [45]。

  • Claude：披露最少、转向最清晰——Anthropic 从未公开参数 / 架构 / 训练数据规模；Claude-1 / 2 以长上下文（2023-05 从 9K 扩到 100K [46]）+ Constitutional AI 对齐著称 → 3 / 3.5 强化预训练与对齐 → 3.7 Sonnet 自称”首个混合推理模型”（System Card 称扩展思考由 RL 训练，属串行 test-time，思考预算可达 128K token [47]）→ Claude-4 强化 agentic 编码。

  • Gemini：原生多模态起家——Gemini 1.0 从一开始就联合训练图像、音频、视频与文本 [7] → 1.5 用 MoE 把上下文推到百万 token 级 [2] → 2.5 起为 thinking 模型 [48]；各代参数量均未公开。

  • Grok：超大集群 + 把 RL 放大到预训练规模——Grok-1（2024-03 开放权重 [50]）→ Grok-2 / 3 放大预训练并引入 RL 推理 → Grok-4 用 Colossus 把 RL 做到”pretraining scale”，并把可验证数据从数学 / 代码扩到更多域；Heavy 版本是并行 test-time compute（均为 xAI 官方说法 [51]）。

A.4 Takeaway：从单轴到多维坐标系，计价单位在上移

把十一家六年的选择收成一张图（第 4 章”万物皆可 scaling”在工业界的真身）。两点值得带走：其一，各家不断开辟并切换主战场，权重开放阵营的普遍轨迹是 N/D → MoE → 长上下文 → RLVR / 推理 → agentic，后两步落在 10.6 节对照表的”可验证经验”一栏；闭源阵营也在放大 RL 与推理时算力（A.3）。其二，当护城河从”算法”转向”数据 / 环境 / recipe”，披露就变少了：open-weight 阵营还能用技术报告的自报数值讲清每一步，闭源只剩第三方估计与定性说法。

图：从单轴到多维坐标系、计价单位在上移的收束示意。左＝2020 年只有一根 (N, D) 轴；右＝2026 年长成十来根可单独 scale 的轴；下＝计价单位的三代（叠加而非替换，分期对照见 10.6 节的表）。系示意性图示，非严格量化。

把这份实录收成一句：Scaling 从来不是一根轴，而是一个不断长出新维度的坐标系。六年里真实厂商的选择——从堆 N/D，到 Chinchilla 配比、MoE 稀疏、长上下文、RLVR 与 test-time，再到 agentic 与合成经验——正是”计价单位在上移”的实录：能被稳定量化投入产出的维度，就会被纳入 scaling；而下一根轴，往往在上一根变窄时才浮现。

参考来源

  1. [1][54] Ouyang L, Wu J, Jiang X, et al. Training Language Models to Follow Instructions with Human Feedback . NeurIPS 2022 (arXiv:2203.02155).arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  2. [2][193] Gemini Team, Google. Gemini 1.5: Unlocking Multimodal Understanding across Millions of Tokens of Context . arXiv:2403.05530, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  3. [3][50] OpenAI. Learning to Reason with LLMs . OpenAI Blog, 2024-09-12. https://openai.com/index/learning-to-reason-with-llms/openai.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  4. [4][58] Chollet F. OpenAI o3 Breakthrough High Score on ARC-AGI-Pub . ARC Prize Blog, 2024-12-20. https://arcprize.org/blog/oai-o3-pub-breakthrougharcprize.org · 访问于 2026-10-18权威媒体 · 非本人原话↩
  5. [5][86] Guo D, Yang D, Zhang H, et al. (DeepSeek-AI). DeepSeek-R1 Incentivizes Reasoning in LLMs through Reinforcement Learning . Nature 645:633–638, 2025 (arXiv:2501.12948; arXiv 版题为 DeepSeek-R1: Incentarxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  6. [6][20] Snell C, Lee J, Xu K, Kumar A. Scaling LLM Test-Time Compute Optimally Can Be More Effective than Scaling Model Parameters . arXiv:2408.03314, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  7. [7][192] Gemini Team, Google. Gemini: A Family of Highly Capable Multimodal Models . arXiv:2312.11805, 2023.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  8. [8][272] Z.ai. GLM-5.3-Flash: Frontier Intelligence, Flash Cost . Z.ai Blog, 2026-08-26. https://z.ai/blog/glm-5.3-flashz.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  9. [9][271] Kimi Team (Moonshot AI). Kimi K3: Open Frontier Intelligence . arXiv:2607.24653, 2026. 权重与模型卡： https://github.com/MoonshotAI/Kimi-K3github.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  10. [10][195] Qwen Team. Qwen3.5: Towards Native Multimodal Agents . Alibaba Cloud Blog, 2026-02-17. https://www.alibabacloud.com/blog/602894 ; Qwen Team. Qwen3.8-Max: A New Bar for Coding and Cowork . Qwen Bwww.alibabacloud.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  11. [11][196] DeepSeek-AI. DeepSeek-V4 Preview: Entering the Era of Affordable Million-Token Context . DeepSeek News, 2026-04-24. https://www.deepseek.com/en/news/v4-preview/ ; DeepSeek-AI. Introducing DeepSewww.deepseek.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  12. [12][199] GLM-5 Team (Z.ai). GLM-5: from Vibe Coding to Agentic Engineering . arXiv:2602.15763, 2026. 模型卡： https://huggingface.co/zai-org/GLM-5huggingface.co · 访问于 2026-10-18权威媒体 · 非本人原话↩
  13. [13][198] MiniMax. MiniMax M3: Frontier Coding, 1M Context, Native Multimodality — All in One Model . MiniMax, 2026-06-01. https://www.minimax.io/blog/minimax-m3 ; 模型卡： https://huggingface.co/MiniMaxAI/Miwww.minimax.io · 访问于 2026-10-18权威媒体 · 非本人原话↩
  14. [14][197] Kimi Team (Moonshot AI). Kimi K2.5: Visual Agentic Intelligence . arXiv:2602.02276, 2026.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  15. [15][200] ByteDance Seed. Seed2.0 正式发布 . 字节跳动 Seed 博客, 2026-02-14. https://seed.bytedance.com/zh/blog/seed2-0-%E6%AD%A3%E5%BC%8F%E5%8F%91%E5%B8%83seed.bytedance.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  16. [16][273] ByteDance Seed. Seed2.1 正式发布，深入 AI 生产力 . 字节跳动 Seed 博客, 2026-06-23. https://seed.bytedance.com/zh/blog/seed2-1-officially-released-advancing-ai-productivityseed.bytedance.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  17. [17][201] Meta Superintelligence Labs. Introducing Muse Spark: Scaling Towards Personal Superintelligence . Meta AI Blog, 2026-04-08. https://ai.meta.com/blog/introducing-muse-spark-msl/ ; Meta Superintelai.meta.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  18. [18][274] Meta. Meta Model API . Meta for Developers, 2026 (2026-09-28 访问). https://dev.meta.ai/products/meta-model-apidev.meta.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  19. [19][202] OpenAI. Introducing GPT-5.5 . OpenAI, 2026-04-23. https://openai.com/index/introducing-gpt-5-5/ ; OpenAI. GPT-6 Astra: A New Generation of Intelligence . OpenAI, 2026-09-03. https://openai.com/iopenai.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  20. [20][203] Anthropic. Introducing Claude Opus 4.6 . Anthropic, 2026-02-05. https://www.anthropic.com/news/claude-opus-4-6 ; Anthropic. Introducing Claude Fable 5.1 and Claude Mythos 5.1 . Anthropic, 2026-0www.anthropic.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  21. [21][204] Google DeepMind. Gemini 3.1 Pro — Model Card . Google DeepMind, 2026-02-19. https://deepmind.google/models/model-cards/gemini-3-1-pro/deepmind.google · 访问于 2026-10-18权威媒体 · 非本人原话↩
  22. [22][205] SpaceXAI (formerly xAI). Introducing Grok 4.7 . SpaceXAI, 2026-09-21. https://x.ai/news/grok-4-7x.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  23. [23][108] Qwen Team, Alibaba. Qwen3 Technical Report . arXiv:2505.09388, 2025.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  24. [24][110] DeepSeek-AI. DeepSeek-V3 Technical Report . arXiv:2412.19437, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  25. [25][111] Kimi Team (Moonshot AI). Kimi k1.5: Scaling Reinforcement Learning with LLMs . arXiv:2501.12599, 2025.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  26. [26][112] Kimi Team (Moonshot AI). Kimi K2: Open Agentic Intelligence . arXiv:2507.20534, 2025.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  27. [27][124] MiniMax. MiniMax-01: Scaling Foundation Models with Lightning Attention . arXiv:2501.08313, 2025. (Lightning Attention + Softmax 混合 + MoE，456B 总 / 45.9B 激活、32 专家；训练 1M、推理外推 4M；含多模态 MiniMax-VL-01arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  28. [28][125] MiniMax. MiniMax-M1: Scaling Test-Time Compute Efficiently with Lightning Attention . arXiv:2506.13585, 2025. (首个开源大规模混合注意力推理模型；CISPO；512×H800 约三周完成全量 RL)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  29. [29][126] MiniMax. MiniMax-M2 (Model Card & Repository) . MiniMax, 2025. https://huggingface.co/MiniMaxAI/MiniMax-M2 (MoE 230B 总 / 10B 激活；coding / agentic、交错思考；SWE-bench Verified 69.4)huggingface.co · 访问于 2026-10-18权威媒体 · 非本人原话↩
  30. [30][114] Llama Team, AI @ Meta. The Llama 3 Herd of Models . arXiv:2407.21783, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  31. [31][115] Meta AI. The Llama 4 Herd: The Beginning of a New Era of Natively Multimodal AI Innovation . Meta AI Blog, 2025-04-05. https://ai.meta.com/blog/llama-4-multimodal-intelligence/ ; Llama 4 Model Cai.meta.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  32. [32][118] GLM-4.5 Team (Zhipu AI). GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models . arXiv:2508.06471, 2025.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  33. [33][191] Z.ai. GLM-4.6: Advanced Agentic, Reasoning and Coding Capabilities . Z.ai Blog, 2025-09-30. https://z.ai/blog/glm-4.6z.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  34. [34][119] ByteDance Seed. Doubao-1.5-pro . ByteDance Seed, 2025-01-22. https://seed.bytedance.com/en/doubao_1_5_proseed.bytedance.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  35. [35][106] Qwen Team, Alibaba. Qwen2 Technical Report . arXiv:2407.10671, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  36. [36][107] Qwen Team, Alibaba. Qwen2.5 Technical Report . arXiv:2412.15115, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  37. [37][109] DeepSeek-AI. DeepSeek-V2: A Strong, Economical, and Efficient Mixture-of-Experts Language Model . arXiv:2405.04434, 2024. (MLA + DeepSeekMoE，236B / 21B，8.1T token)arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  38. [38][3] Touvron H, Lavril T, Izacard G, et al. LLaMA: Open and Efficient Foundation Language Models . arXiv:2302.13971, 2023.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  39. [39][113] Touvron H, Martin L, Stone K, et al. Llama 2: Open Foundation and Fine-Tuned Chat Models . arXiv:2307.09288, 2023.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  40. [40][116] Zeng A, Liu X, Du Z, et al. GLM-130B: An Open Bilingual Pre-trained Model . ICLR 2023 (arXiv:2210.02414).arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  41. [41][117] Team GLM (Zhipu AI & Tsinghua). ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools . arXiv:2406.12793, 2024.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  42. [42][275] Pearl M. xAI Is Dead. Long Live SpaceXAI (引 @SpaceXAI 2026-07-06 帖). Gizmodo, 2026-07-06. https://gizmodo.com/xai-is-dead-long-live-spacexai-2000782034gizmodo.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  43. [43][120] Patel D, Wong G. GPT-4 Architecture, Infrastructure, Training Dataset, Costs, Vision, MoE . SemiAnalysis, 2023-07-10. https://newsletter.semianalysis.com/p/gpt-4-architecture-infrastructurenewsletter.semianalysis.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  44. [44][5] Achiam J, Adler S, Agarwal S, et al. GPT-4 Technical Report . arXiv:2303.08774, 2023.arxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  45. [45][121] OpenAI. Introducing GPT-5 / GPT-5 System Card . OpenAI, 2025-08-07. https://openai.com/index/introducing-gpt-5/openai.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  46. [46][189] Anthropic. Introducing 100K Context Windows . Anthropic, 2023-05-11. https://www.anthropic.com/news/100k-context-windowswww.anthropic.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  47. [47][123] Anthropic. Claude 3.7 Sonnet and Claude Code . Anthropic, 2025-02-24. https://www.anthropic.com/news/claude-3-7-sonnet ; Anthropic. Claude 3.7 Sonnet System Card . Anthropic, 2025-02. https://wwwww.anthropic.com · 访问于 2026-10-18权威媒体 · 非本人原话↩
  48. [48][194] Comanici G, Bieber E, Schaekermann M, et al. (Gemini Team, Google). Gemini 2.5: Pushing the Frontier with Advanced Reasoning, Multimodality, Long Context, and Next Generation Agentic Capabilitiearxiv.org · 访问于 2026-10-18官方 · 非本人原话↩
  49. [49][279] Pichai S, Hassabis D, Kavukcuoglu K. A new era of intelligence with Gemini 3 . Google (The Keyword), 2025-11-18. https://blog.google/products-and-platforms/products/gemini/gemini-3/blog.google · 访问于 2026-10-18权威媒体 · 非本人原话↩
  50. [50][190] xAI. Open Release of Grok-1 . xAI, 2024-03-17. https://x.ai/news/grok-os (314B MoE 基座模型的权重与架构，Apache 2.0)x.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩
  51. [51][122] xAI. Grok 4 . xAI, 2025-07-09. https://x.ai/news/grok-4x.ai · 访问于 2026-10-18权威媒体 · 非本人原话↩