Muse Spark 1.1 Evaluation Report

深度解读

模型概述

Muse Spark 1.1 是 Meta Superintelligence Labs 在 Muse Spark 1.0 基础上更新的模型，用于 Meta AI，并通过 API 提供工具调用、函数调用和 developer prompt。报告以 API 部署作为各产品表面新增风险的保守上界，因为它暴露的 Agent 脚手架最广 ^[1]（第 1 节，PDF 第 6 页）。

评估区分三种配置：无系统级护栏的 Muse Spark 1.1、叠加部署防护的 Muse Spark 1.1 System，以及未做拒答训练、用于测量能力上界的 Muse Spark 1.1 Helpful。能力评测最大化能力引出，拒答和行为评测则贴近部署系统 ^[1]（第 1.3 节及附录 A，PDF 第 10、112 页）。

评测方法与结果

网络安全能力评测采用 helpful-only 配置，并以带 shell、Python 工具和上下文压缩的 ReAct 风格 Agent 运行。在 40 道专业 CTF 题组成的 Cybench 上，Muse Spark 1.1 取得 92.9% pass@1 和 97.0% pass@10，Muse Spark 1.0 分别为 65.4% 和 79.0%。报告认为公开 CTF 已接近饱和，因而把它视为触发复杂评测的能力门槛 ^[1]（第 2.2.1.1 节，PDF 第 20–23 页）。

CyberGym 包含 1,507 个目标漏洞，单次提交口径下 Muse Spark 1.1 的 pass@1 为 59.0%，Muse Spark 1.0 为 43.5%。在要求生成可用 exploit 的 ExploitGym 上，模型在 2 小时限制下解决 869 题中的 5 题 ^[1]（第 2.2.1.2 节，PDF 第 24–25 页）。CyScenarioBench 的十个多主机场景中，模型仅在二十次尝试里完成一个，pass@1 为 0.5%；报告认为可靠的端到端多主机攻击尚未得到证明 ^[1]（第 2.2.1.2 节，PDF 第 26–27 页）。

通用能力覆盖 Agent、编码、健康、多模态理解和推理。Muse Spark 1.1 通过 Meta Model API、以 xhigh reasoning effort 运行；对手结果则混合自报成绩、官方榜单和内部复现，第三方 Agent 环境也未必针对各模型优化 ^[1]（第 5.1 节，PDF 第 101–102 页）。

安全与风险评估

在 Advanced AI Scaling Framework 下，无缓解模型在 Chemical & Biological 领域被判为“高风险”，网络安全领域不能排除“高风险”；缓解后，这两个领域及 Loss of Control 的残余风险均被判为“中等或更低” ^[1]（第 1.1.1、2.1、2.2 节，PDF 第 8–9、12、19–20 页）。网络安全缓解包括拒绝促成攻击的信息、遏制持续恶意使用和汇总长期活动模式；部分细节未披露 ^[1]（第 2.2 节，PDF 第 19–20 页）。

AgentDojo 的间接提示注入 pass@1 攻击成功率为 0.7%，但评测只做单次解码 ^[1]（第 3.2.2.1 节，PDF 第 53–54 页）。在更现实的 SWE-PI Agent 中，pass@1 与 pass@5 攻击成功率分别为 24.2% 和 68.2%；报告把 Agent 读取 AGENTS.md、README.md 时的文件注入列为开放问题，并建议采用工具 allowlist、工作区隔离和出口过滤 ^[1]（第 3.2.2.2 节，PDF 第 54–56 页）。

局限与开放问题

报告大量复用前一份 Muse Spark Safety & Preparedness Report 的设计，部分方法与 Loss of Control 局限没有在本文重述 ^[1]（第 1.3、2.3 节，PDF 第 10、40 页）。能力评测还会过滤拒答和少量错误，安全评测又在模型级与系统级配置间切换，数字必须结合配置理解 ^[1]（第 1.3 节及附录 A，PDF 第 10、112 页）。

编者判断：报告的研究价值在于把能力门槛、复杂真实任务、提示注入和部署缓解置于同一框架。其证据显示，CTF 接近饱和不等于长程攻击已可靠实现，文件注入在多次攻击下仍会放大风险。