GLM-5: from Vibe Coding to Agentic Engineering
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
收录理由
报告公开了稀疏注意力迁移、长上下文数据、分阶段强化学习、异步 Agent RL 与工程评测的具体方案。
关键要点
- 模型为 744B 总参数、40B 激活参数，基础模型共训练 28.5T tokens（原文第 2 节）。
- 上下文按 32K、128K、200K 三阶段扩展，并提高长文档与 Agent 轨迹采样（原文第 2.3 节）。
- 异步 Agent RL 以 TITO 和双边重要性采样控制错位与离策略偏差（原文第 3.3、4.1 节）。
- 构建超过 10K 个可验证 SWE 环境，覆盖 9 种编程语言（原文第 4.2.1 节）。
- CC-Bench-V2 显示链式任务仍落后 Claude Opus 4.5（原文表 8、第 6.2.3 节）。
深度解读
方法与架构
GLM-5 是总参数 744B、激活参数 40B 的 MoE 模型，共有 256 个专家和 80 层；报告把扩大模型与降低长上下文成本放在同一条技术线上。其基础模型采用 MLA，并用 Muon Split 对各注意力头的投影矩阵分别做正交化；同时将注意力头维度从 192 提到 256、头数减少三分之一，以降低解码计算量 [1]（原文第 2 节、表 1）。
长上下文阶段再从稠密 MLA 迁移到 DeepSeek Sparse Attention。迁移包含 1,000 步索引器预热和 20B tokens 稀疏适配；表 3 中 DSA 与 MLA 在四项 128K 任务上各有得失，不能据此概括为全面无损 [1]（原文第 2.1.1 节、表 3）。报告还比较 SWA、GDN、SimpleGDN 等方案，指出这些高效注意力变体在细粒度检索上仍有差距 [1]（原文第 2.1.2 节、表 5）。
数据与训练
基础模型各阶段合计使用 28.5T tokens。中期训练把上下文依次扩展到 32K、128K、200K，对应 1T、500B、50B tokens；软件工程数据将仓库代码、commit diff、issue、PR 和相关文件拼成统一序列，筛选后 issue–PR 部分约 160B unique tokens [1]（原文第 2、2.3 节）。长上下文数据同时包含自然文档与合成长依赖样本，并在 200K 阶段加入少量 MRCR 类数据 [1]（原文第 2.3 节）。
后训练顺序是多任务 SFT、Reasoning RL、Agentic RL、General RL，再以 on-policy cross-stage distillation 恢复前序阶段能力 [1]（原文第 3 节、图 5）。Agentic RL 将推理与训练引擎解耦；TITO 保留采样时的 token 序列，双边重要性采样屏蔽偏离信任区间的 token，过旧轨迹和由环境崩溃造成的噪声样本也会被丢弃 [1]（原文第 4.1.1 节）。训练环境包括超过 10K 个可验证 SWE 环境，覆盖 Python、Java、Go、C、CPP、JavaScript、TypeScript、PHP、Ruby [1]（原文第 4.2.1 节）。
评测结果
公开评测并非统一口径：SWE-bench 使用定制提示的 OpenHands，Terminal-Bench 2.0 使用 Terminus-2 与 Claude Code；MCP-Atlas 则把超时从 4 分钟延长到 10 分钟，并以 Gemini 3 Pro 判分 [1]（原文第 6.1.2–6.1.3 节）。因此，表 7 的跨模型数字应连同 harness、提示和修订数据集一起阅读。
编者判断：内部 CC-Bench-V2 更有诊断价值。GLM-5 在后端 Engineering Pass@1 为 25.8，接近 Claude Opus 4.5 的 26.9；Repo Exploration Pass@1 为 65.6，对方为 64.5；但 Chained Tasks Pass@1 为 52.3，对方为 61.6 [1]（原文表 8）。报告据此将链式误差累积、长上下文一致性和长期自我纠错列为仍需改进的方向 [1]（原文第 6.2.3 节）。
局限与值得关注的问题
报告没有单列局限章节，且多项通用能力与 CC-Bench-V2 来自内部数据或模型裁判；其中前端 Agent-as-a-Judge 虽在 130 个检查项上与人工判断达到 94% 一致，但主观视觉标准仍是分歧集中处 [1]（原文第 6.2.1 节）。异步 RL 也明确接受受控的离策略偏差，并依赖轨迹时效过滤维持稳定 [1]（原文第 4.1.1 节）。
编者判断：这份报告最有价值的不是单一榜单名次，而是把稀疏注意力迁移、长上下文数据、异步训练系统、可验证环境和端到端工程评测连成一条可检查的技术链；但数据配比、训练算力和多数内部评测集未完整公开，复现边界仍然明显。