DeepSeek-V4.1-Flash: Pushing the Limits of KV Cache Compression

深度解读

方法与架构

DeepSeek-V4.1-Flash 是原生多模态 MoE：语言骨干含 40 层，由 20 层 causal encoder 与 20 层 decoder 组成；backbone 为 552B 参数，prefill 每 token 激活 8B，decode 激活 16B，最长上下文为 1M tokens ^[1]（原文摘要、第 2.1 节）。图像由从零训练的 DeepSeek-ViT 编码，经 $3\times3$ pixel-unshuffle 将视觉 token 数减少 9 倍，再与文本嵌入共同进入语言骨干 ^[1]（原文第 2.1.1 节）。

相较 DeepSeek-V4 的 CSA/HCA 混合结构，本报告改为纯 CSA2，并在层维度复用 cache。Full 模式生成 main KV、indexer K 和新 Top-K；Reindex 复用前层 KV 与 indexer K，但重新打分；Reuse 连 Top-K 也复用，只执行稀疏注意力 ^[1]（原文第 1、2.3.1 节）。decoder 的 Hierarchical Sparse Indexer 由首个 Full 层扫描全上下文并建立候选池，后续 Reindex 层只在池内搜索；报告配置最多选择 2,048 个、每个 8 个位置的块，形成最多 16,384 个候选位置 ^[1]（原文第 2.3.2、4.2.1 节）。

CED 让 decoder 的全局 KV 从 encoder 最后一层隐状态投影而来；当序列长度远大于滑窗时，报告将 prefill 复杂度从 $\mathcal{O}(NL)$ 写为近似 $\mathcal{O}(NL/2)$ ^[1]（原文第 2.2 节）。主 KV 使用 FP4，SWA KV 因量化敏感仍保留 FP8 ^[1]（原文第 2.4.4 节）。

数据与训练

预训练语料为 45T tokens，最终文本与多模态 token 比为 7:1；多模态部分包括图文对、图文交错文档，以及视觉定位、OCR、图像代码和 computer-use 轨迹等领域数据 ^[1]（原文第 4.1 节）。模型从 64K 序列长度开始直接训练稀疏注意力，不经过稠密注意力 warmup，并在训练至 34T tokens 时扩展到 1M ^[1]（原文第 4.2.2 节）。

DeepSeek-ViT 先在约 47B 图文对上做对比预训练，再连接 4B MoE LLM，以 236B tokens 做自回归微调 ^[1]（原文第 4.2.2 节“Vision Encoder Training”）。后训练没有提出新算法，仍采用 SFT、RL 与 OPD；变化集中在可验证任务合成、Agent 环境构造、异步 rollout 和超过 40 个教师的全词表 OPD ^[1]（原文第 5.1、5.2.4 节）。

评测结果

CSA2 与 FP4 把常驻 HBM 的全局 KV cache 降至每 token 890 bytes，约为 DeepSeek-V4-Flash 的 1/4；SWA Bounded Replay 使常驻 SSD 或 host memory 的 persistent KV cache 约为后者的 1/8 ^[1]（原文摘要、第 3.2.1、6 节）。bounded replay 只重放最近 $n_{\mathrm{win}}$ tokens，而不是精确重建所需的 $L\times n_{\mathrm{win}}$ tokens，因此生成的是近似 SWA 状态 ^[1]（原文第 3.2.2 节）。

基础模型统一内部设置下，V4.1-Flash-Base 的 LongBench-V2 1-shot EM 为 45.2，V4-Flash-Base 为 44.7，V4-Pro-Base 为 51.5；BigCodeBench 3-shot Pass@1 则为 60.6、56.8、59.2 ^[1]（原文表 1）。后训练评测使用不同官方或指定 scaffold；在 mini-SWE 上 DeepSWE v1.1 Resolved 为 74.2，在 DeepSeek Harness Minimal 上 Terminal-Bench 2.1 Pass@1 为 90.6 ^[1]（原文第 5.3.1 节、表 3）。同一模型换 scaffold 后，DeepSWE v1.1 从 65.5 到 74.2，显示 harness 对结果有实质影响 ^[1]（原文表 4）。

局限与值得关注的问题

报告明确指出，CSA2 可能出现选择错误，SWA Bounded Replay 的近似状态也可能在未测试边界导致能力下降；后续重点是超长上下文稀疏检索与 cache 恢复边界的压力测试 ^[1]（原文第 6 节）。报告还承认，在最困难的推理与边缘案例上，模型仍与领先闭源系统存在差距 ^[1]（原文第 6 节）。

编者判断：V4.1-Flash 与 V4 的关系不是简单扩参，而是针对 V4 的全局 KV、SWA 持久化和 prefill 成本重新分解架构；其价值在于给出按层复用、量化和近似重放的联合方案。代价是状态不再完全等价，且多数效率与质量结论来自作者内部系统，独立部署复现仍需相同 cache 管理与融合内核。