• 榜单数据10-19 11:33
  • 论文数据10-16 13:30
  • 周报10-18 20:50

唐杰谈 AGI:从长程任务到自我训练

阅读约 8 分钟AI 生成已核查 · 已审核审核人 负责人

AGIAgent自我训练

文章信息

发言出处:唐杰于 2026-05-12 发布的微博《说说最近的一些想法吧》。本文以新浪提供的本人认证账号详情页为 original 主来源 [1]。

同源转载:量子位文章《GLM-5.3 你来定!智谱唐杰全球征集意见,评论区清一色:视觉》在文末以四张图片收录该稿,仅用于找回线索,不计为独立信源。

长程任务:价值不在多答一题

今年可能最有可能的突破就是长程任务,就是大模型会根据Agent环境数据学到完成一个很长的任务的能力。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 1 项:AI Hacker,首句官方本人原话已核实原话

唐杰把 AI Hacker 作为长程任务的例子:模型持续读取环境反馈、寻找软件漏洞,并把这种长期运行能力视为大模型价值可能集中的地方 [1]。

但AI嘛可以不停运行,所以可能更快的找到漏洞,然后到HackerOne/BugCrow去领了bug赏金。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 1 项:AI Hacker,中段官方本人原话已核实原话

METR 把这种能力操作化为“模型以给定成功率可完成、而人类专家需要多长时间的任务”。其 2025 年公开结果显示,50% 成功率对应的任务时长在历史数据中约每 7 个月翻倍;同一页面也强调,该估计依赖任务集、成功率和人类基线,不能直接等同于真实工作的可靠自动化 [2]。

Google Project Zero 与 Google DeepMind 的 Big Sleep 团队报告称,其 Agent 在 SQLite 代码中发现并上报了一个此前未知的可利用内存安全问题;团队同时明确称结果仍处研究阶段,并认为针对特定目标的 fuzzer 当时可能同样有效 [3]。

从 OPC 到 NPC:组织是另一个长程系统

在长程任务的基础上,autonomous agent system(AAS)将成为下一个热点。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 2 项:NPC,首句官方本人原话已核实原话

还记得去年提了一个词OPC(one person company),没想到这么快就要变成NPC(none person company)。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 2 项:NPC,第二句官方本人原话已核实原话

Anthropic 公开的 Research 系统采用 orchestrator-worker 架构:主 Agent 制定策略并派生并行子 Agent,最终还要经过专门的引用处理。其工程复盘同时列出协调复杂度、token 成本、状态持久化、故障恢复和评测等问题,并指出并非所有任务都适合多 Agent [4]。

这也与唐杰 2024 年 ICLR 邀请演讲的公开路线形成前后呼应。ICLR 官方摘要确认演讲以 ChatGLM 为例讨论 AGI 的机会、挑战和风险 [5];同期报道将路线展开为模型层、GLM-OS 系统层和 GLM-zero 学习层,其中 GLM-OS 依靠工具、Memory 与 self-reflection 形成 PDCA 循环 [6]。

Memory、持续学习与 self-judge:三种不同问题

Memory、continual learning、self judge是三个需要解决的技术问题。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 3 项:Memory/continual learning/self judge,首句官方本人原话已核实原话

唐杰认为长上下文、RAG 和更频繁的模型迭代,可以先以工程方式部分逼近 Memory 与 continual learning;他把这些做法称为阶段性 baseline,而非问题已经解决 [1]。

MemGPT 借鉴操作系统分层存储和分页,在有限上下文与外部存储之间主动换入换出信息,用外部化记忆突破固定窗口限制 [7]。

Anthropic 的 Constitutional AI 让模型依据一组原则生成自我批评和修订,并在强化学习阶段使用 AI 偏好作为奖励信号 [8]。

AI training AI:从局部自举到完全自训练

唐杰把模型写代码、清洗和合成数据、再参与训练概括为 AI training AI,并认为它可能以更多算力换取更少人力与更快迭代 [1]。

ai training ai基本成型,claude和open ai已经基本实现了自训练,也就是模型自己在写code、自己清洗数据和合成数据、然后自己训练自己。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 4 项:ai training ai,第二句官方本人原话已核实原话

Microsoft 的 phi-1 公开展示了一个较窄但可核验的环节:训练数据包含由 GPT-3.5 生成的教材和编程练习,说明“模型生成训练数据”已经可以进入正式训练流水线 [9]。OpenAI 的 o1 公告则显示,模型表现会随训练阶段强化学习算力和测试阶段思考算力增加而提升 [10]。

harness是突破口和台阶;self-judge是个挑战,Fully自训练也许是个终局。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文第 4 项后的小结官方本人原话已核实原话

AGI 的门槛:汇总知识之外还要创造知识

AGI的定义可能就是全世界所有人的智慧总和(不是一个人的智慧,是世界所有人)。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文 AGI 定义段,首句官方本人原话已核实原话

原帖随后把“创造相对论”的能力归为 Hassabis 提出的门槛 [1]。

LLM OS:应用按需生成,还是新的计算接口

唐杰先推演应用转为 AI native,继而设想固定 App 被按需生成的能力取代 [1]。

未来当你打开电脑的时候,看到的是LLM OS,所有APP都generate on demand。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文 AGI 定义段,LLM OS 句官方本人原话已核实原话

2024 年公开的 GLM-OS 路线已经把工具、Memory、自我反馈和 PDCA 放在系统层 [6]。2026 年微博则把这条路线继续外推到 App 按需生成和底层计算范式重构 [1]。

行业重塑之后,责任不能按需生成

从完成各行业的长程任务到完全自治的运行,每个行业都可能被AGI重塑,安全、金融、法律、电商、互联网。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文行业颠覆段,首句官方本人原话已核实原话

技术巨浪到来之际,也许既要做好准备也要开始思考一定的监管。

唐杰说说最近的一些想法吧(在新窗口打开)2026-05-12正文行业颠覆段,末句官方本人原话已核实原话

参考来源

  1. [1]说说最近的一些想法吧(在新窗口打开)唐杰THU(新浪微博认证账号) · 2026-05-12 · 全文;分项:AI Hacker、NPC、Memory/continual learning/self judge、ai training ai · 访问于 2026-10-18官方 · 本人原话↩
  2. [2]Measuring AI Ability to Complete Long Software Tasks(在新窗口打开)METR · 2025-03-19 · Summary;Conclusion;Time Horizon 1.0 · 访问于 2026-10-18官方 · 非本人原话↩
  3. [3]From Naptime to Big Sleep: Using Large Language Models To Catch Vulnerabilities In Real-World Code(在新窗口打开)Google Project Zero · 2024-11-01 · Introduction;Discovered Vulnerability;Conclusion · 访问于 2026-10-18官方 · 非本人原话↩
  4. [4]How we built our multi-agent research system(在新窗口打开)Anthropic · 2025-06-13 · Architecture overview for Research;Production reliability and engineering challenges · 访问于 2026-10-18官方 · 非本人原话↩
  5. [5]The ChatGLM's Road to AGI(在新窗口打开)ICLR · 2024-05-09 · Abstract;Speaker · 访问于 2026-10-18官方 · 本人原话↩
  6. [6]智谱AI亮相2024 ICLR,分享面向AGI的三大技术趋势(在新窗口打开)品玩 · 2024-05-11 · 三大技术趋势:GLM-4.5、GLM-OS、GLM-zero · 访问于 2026-10-18权威媒体 · 部分原话↩
  7. [7]MemGPT: Towards LLMs as Operating Systems(在新窗口打开)arXiv · 2023-10-12 · Abstract;Sections 2–3 · 访问于 2026-10-18官方 · 非本人原话↩
  8. [8]Constitutional AI: Harmlessness from AI Feedback(在新窗口打开)arXiv · 2022-12-15 · Abstract;Sections 2–3 · 访问于 2026-10-18官方 · 非本人原话↩
  9. [9]Textbooks Are All You Need(在新窗口打开)arXiv · 2023-06-20 · Abstract;Section 2.2 · 访问于 2026-10-18官方 · 非本人原话↩
  10. [10]Learning to reason with LLMs(在新窗口打开)OpenAI · 2024-09-12 · 正文开头:train-time compute 与 test-time compute · 访问于 2026-10-18官方 · 非本人原话↩