Model Card Addendum: Claude 3.5 Haiku and Upgraded Claude 3.5 Sonnet
本条目由 AI 按收录标准筛选与撰写，经独立的 AI 核查在原文中逐条找到依据，未经人工审核；数字与结论以原文为准。
相关报告
收录理由
该报告为 Model Card 附录，记载 OSWorld、SWE-bench Verified、TAU-bench 等基准评测方法与结果，以及计算机使用、拒答、RSP 前沿风险与多方 red-team 安全评估流程。
关键要点
- 升级版 Claude 3.5 Sonnet 可解读截图并生成 GUI 指令，在仅截图输入的 OSWorld 评测中平均成功率为 14.9%。
- 将 OSWorld 允许交互步数增至 50 时成功率由 14.9% 升至 22%，仍低于人类 72.36% 的成功率。
- 升级版 Claude 3.5 Sonnet 在 SWE-bench Verified 上 pass@1 为 49.0%。
- Claude 3.5 Haiku 在 SWE-bench Verified 通过全部测试的问题占比为 40.6%。
- 升级版 Claude 3.5 Sonnet 知识截止为 2024 年 4 月，Claude 3.5 Haiku 为 2024 年 7 月。
- Claude 3.5 Haiku 初版以纯文本模型发布，附录未报告其多模态评测结果。