论文
InfraBench:跨系统层次、生命周期与风险评估的基础设施智能体基准
InfraBench: Evaluating Infrastructure Agents Across Layers, Lifecycle, and Risk
摘要
由于复杂度不断上升,管理现代计算基础设施已成为一个愈发困难的问题。AI智能体的最新进展为自动化基础设施管理任务创造了及时的机遇,但这类智能体能否应对真实世界的基础设施复杂度仍不清楚。我们提出InfraBench,一套用于在覆盖完整系统栈与完整运维生命周期、并带细粒度风险评估的真实基础设施任务上评估AI智能体的基准套件。15种智能体-模型配置的实验显示,即使最强的智能体也无法在所有任务上取得满分。平均有效得分大致在40%到88%之间(每配置标准误为6-12分),每个任务重复三次表明顶级配置也只有一部分尝试通过,而逐项检查的打分揭示出一个普遍的失败模式:智能体可能例行地满足短期目标,却留下不持久的更改、被破坏的分布式不变量、不安全的副作用和未清理的状态。InfraBench,包括其实时排行榜、任务与评估工具,已在infraben.ch公开。
