论文

SREGym:面向AI SRE智能体的带高保真失败场景的实况基准

SREGym: A Live Benchmark for AI SRE Agents with High-Fidelity Failure Scenarios

智能体系统Agent任务评测

摘要

AI智能体日益被用于诊断与缓解生产系统故障,即智能体式的站点可靠性工程(SRE)。当前SRE基准限于过度简化的SRE任务,且因定制设计而难以扩展。我们提出SREGym:面向SRE智能体的高保真基准。SREGym暴露一个构建在真实云原生系统栈之上的实况系统环境,高保真失败场景经故障注入器仿真。SREGym通过仿真(1)跨不同层级的广泛故障、(2)各种环境噪声与(3)多样失败模式(如亚稳态失败与相关失败)来建模生产环境的复杂性。SREGym架构为模块化可扩展框架,编排跨栈的故障与噪声注入器。SREGym当前包含90个真实、有挑战性的SRE问题。我们用SREGym评估前沿智能体,显示其应对不同故障类型的能力差异显著,端到端结果差异最高达40%。SREGym作为开源项目持续维护,已被研究者与从业者使用。

SREGym:面向AI SRE智能体的带高保真失败场景的实况基准:论文配图
图2:SREGym框架与基准套件总览:真实云原生栈+故障注入。