AgentCheck：基于 MCP 的 LLM 代理的重现干预缓解工作台

使用工具的 LLM 代理主要是在假设所有工具都能工作的情况下进行评估的。当工具超时、返回一周失效值或其描述在部署中中毒时，开发人员需要一种受控方法来重现故障、测试修复并在部署之前确认修复有效。我们推出了 AgentCheck，这是一个开源 Web 工作台，可将 MCP 服务器转变为干预界面。 AgentCheck 针对其真实工具运行代理并记录每个工具响应，然后重新运行代理，其中响应受到故障（12 种类型）注入器的干扰。匹配的工具调用从缓存中重放，稍后的工具调用在代理发散后生效。这会产生重现-干预-确认循环：开发人员切换缓解措施，针对相同的故障重新运行，然后查看故障是否消失。评分分为两部分：确定性通过/失败规则，以及用于解释标签的 LLM 判断，并根据人工注释进行验证。在 5 个代理中，最好的代理通过了 105/120 个场景，最弱的仅通过了 77 个场景。故障通常是无声的、自信地使用了不正确的工具输出，而不是崩溃。在最弱的代理上，重试缓解措施可将超时错误故障的成功率从少至 30% 提高到 100%，而无论采取何种缓解措施，陈旧数据故障仍保持在 10 例中的​​ 3-4 例左右。 AgentCheck 使这些故障模式在部署前可重现、可比较和可验证。