AgentChaos：通过编程故障注入对代理系统进行混沌工程

代理系统的每个响应都依赖 LLM API，但这些 API 可能会返回服务器错误、截断的响应或通过下游代理传播并导致任务失败的损坏内容。评估这些故障下的鲁棒性对于可靠部署至关重要。现有的故障注入方法是离线的，需要修改源代码，或者无法修改特定的响应字段。综合评估还需要系统的故障分类，因为不同的故障类型对下游代理的影响不同。我们提出了 AgentChaos，这是一种用于受控、运行时、非侵入式 LLM API 故障注入的混沌工程框架。由于所有代理系统都通过相同的HTTP接口访问LLM，因此我们在这个共享层注入故障而无需修改源代码。我们在内容和工具调用字段上定义崩溃、遗漏和值故障，在运行时拦截和修改LLM API响应，并验证每个故障是否被触发，以过滤未触发的任务，避免低估故障影响。在 65 种故障配置下对代理系统、基准测试和主干 LLM 进行的评估表明，所有系统在故障注入下都会降级，pass@1 下降高达 50 个百分点。各个模型的排名是一致的，这表明鲁棒性取决于系统实现而不是模型能力。现有的故障诊断方法在故障类型上的准确率低于53%，在故障步骤上的准确率在56%以下，仍有改进的空间。我们进一步为代理系统开发人员揭示了实际发现。