CloudOpsBench 发布：推理缺陷是 AI 云运维最大瓶颈

密歇根大学 Ang Chen 团队发布开源基准 CloudOpsBench 1.0，用于评估 AI 智能体处理云运维任务的能力。基准包含 45 个 AWS 任务，覆盖修复服务、移除资源、限制访问权限、滚动更新和停用项目等场景，任务在真实 AWS 云和模拟器中运行方式相同，项目以 Apache 2.0 许可在 GitHub 开源，并附有详细失败分析。 测试显示，Claude Fable 5.1 解决了 60% 的任务，GPT-6 Astra 为 53%，没有模型完成全部任务。团队发现约 80% 的失败源于推理缺陷而非知识缺失，约 20% 为错误操作，其中部分对基础设施造成不可逆后果。 团队计划后续将基准扩展至 GCP、Azure 和 OCI。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。