新开源基准测试 CloudOpsBench 揭示推理能力是 AI 云运维的最大瓶颈

密歇根大学团队开发的新开源基准测试 CloudOpsBench 评估了 AI 智能体处理云端 DevOps 任务的表现，版本 1.0 包含 45 项 AWS 任务。测试显示 Claude Fable 5.1 解决了 60% 的任务，GPT-6 Astra 完成了 53%。研究表明约 80% 的失败源于推理缺陷，如误判任务范围或未检查相关服务，约 20% 为操作错误。