Kimi K3: Open Frontier Intelligence

深度解读

方法与架构

Kimi K3 是原生多模态 MoE，含 2.8T 总参数、104B 激活参数和最长 1M-token 上下文 ^[1]（原文摘要、第 1 节）。它沿三个维度扩展信息流：序列维度用混合注意力，深度维度用 Attention Residuals，宽度维度用 Stable LatentMoE；图像和视频则由 MoonViT-V2 编码后投影到共享 token 空间 ^[1]（原文第 2 节、图 2）。

每个 block 由 3 层 Kimi Delta Attention 与 1 层 Gated MLA 组成，骨干末尾再放一层 Gated MLA。KDA 提供递归式长序列混合，MLA 周期性保留全局交互；KDA 的 log-decay 下界设为 $g_{\min}=-5$，使 16-token tile 的倒数缩放仍落在 BF16 动态范围内，以便对角与非对角 tile 都使用稠密 Tensor Core 矩阵乘 ^[1]（原文第 2.1 节、公式 5、图 3）。

Stable LatentMoE 拥有 896 个路由专家，每个 token 激活 16 个，另有 2 个共享专家。报告称极端稀疏度会带来内部激活爆炸与专家负载失衡，因此加入上投影前 RMSNorm、SiTU-GLU 和 Quantile Balancing ^[1]（原文第 2.3 节）。MoonViT-V2 为约 0.4B 参数、27 层的视觉 Transformer，从零开始随 next-token prediction 联合训练，图像和视频共享参数 ^[1]（原文第 2.4 节）。

数据与训练

预训练语料覆盖 Web Text、Code、Mathematics、Knowledge 四类文本及视觉语料；视觉部分包含 caption、图文交错文档、OCR、感知、视频和 visual coding，并把 SVG、3D asset、网页、游戏、CAD schematic 的代码与渲染结果配对 ^[1]（原文第 3.1 节）。报告没有披露总训练 token 数或各域配比。

语言与视觉从训练开始就在同一 next-token prediction 目标下联合优化。上下文先在预训练中从 8K 扩到 64K，再于 cooldown 阶段从 256K 扩到 1M；长文档和视频会被提高采样权重，并加入合成长依赖样本 ^[1]（原文第 3.3 节）。后训练先做 SFT，再按 general tasks、general agents、coding agents 三个领域以及 low、high、max 三档推理强度训练九个专家，最后通过 Multi-Teacher On-Policy Distillation 合并为统一模型 ^[1]（原文第 4.1 节）。

长程 RL 不等待全部轨迹完成：每轮达到比例 $\lambda$ 的已完成轨迹后即开始优化，暂停轨迹在下一轮恢复。个人助理环境的一次 rollout 可达数千次工具调用和数百万累计上下文 token ^[1]（原文第 4.1.2、4.2.5 节）。系统侧用外部 KV cache、可恢复 microVM sandbox 与限流调度保存跨轮模型和环境状态 ^[1]（原文第 5.3 节）。

评测结果

报告的全部 Kimi K3 主评测使用 max 推理强度与 temperature 1.0；不同模型运行在 Kimi Code、Claude Code 或 Codex 等 harness 下，Terminal-Bench 2.1 还取各 harness 的最佳成绩 ^[1]（原文第 6.1.2–6.1.3 节）。这些设置意味着跨模型数字不是单纯的裸模型比较。

在报告列出的公开评测中，Kimi K3 的 GPQA Diamond 为 93.5%；HLE-Full 无工具与带工具分别为 43.5% 和 56.0%，报告明确指出研究级推理仍落后 Claude Fable 5 与 GPT-5.6 Sol ^[1]（原文表 2、第 6.1.4 节）。Terminal-Bench 2.1 为 88.3%，GPT-5.6 Sol 为 88.8%；FrontierSWE 为 81.2%，Claude Fable 5 为 86.6% ^[1]（原文表 2、第 6.1.4 节）。

局限与值得关注的问题

报告没有统一的局限章节，但给出了若干失败边界：内部套件中，Kimi K3 在 Agent Behavior、MIRA、24/7 ClawBench 2.0、Agentic Vision 与 KWV 上落后领先模型 ^[1]（原文表 3、第 6.2.1 节）；网络安全评测还显示其在缓解措施下的策略选择、长时间无效调试和最终交付验证方面存在不足 ^[1]（原文第 6.2.2 节）。

编者判断：架构、训练和系统章节形成了较完整的百万 token 工程说明，但总训练 token、数据配比、训练算力及多数内部评测数据均未完整开放；同时，多 harness、模型裁判、fallback 与 refusal 会影响横向解释，表 2 更适合作为特定设置下的证据，而非脱离配置的模型排序。