在代理系统变得可靠之前对其进行监控

进入生产的代理系统通常作为部分集成的组件运行，其中结构缺陷（而不是任务级错误）主导着故障情况。在这个成熟度级别，任务级错误检测可能是不可行的：结构性故障模式掩盖了任务级监视器旨在检测的信号。我们提出了一种监视和分类方法，将代理系统评估分解为三个监视范围（运行内、跨运行、结构）的三个维度（质量、适用性、效率），并使用方差作为特征信号。结果通过根据 FMEA 改编的严重性分类进行，将人们的注意力集中在需要调查的子集上。我们在 120 个文档包中运行 220 次的综合测试台上进行评估，并进行受控错误注入。得出了三个结果。监控范围决定故障类型：运行内监控表面确定性阶段缺陷（CV = 0.02），跨运行监控表面随机积分结果（CV = 1.25，L2 为 24%），结构监控器识别具有完美一致性的积分差距（CV = 0.00）。注入的任务级错误与干净的基线无法区分，确认了结构缺陷掩盖了任务级信号。确定性分类将 97% 的发现路由到自动跟踪，剩下 2% 反映人类调查的可变行为。我们在第一阶段的证据中提出了一种成熟度分期模型，其中随着集成缺陷的解决，监控从结构表征过渡到错误检测，再到可靠性跟踪。分类法、基于简历的范围描述和严重性模型在架构上转移到受监管行业中文档驱动的多阶段代理工作流程；特定的校准是特定于领域的。尽早部署监控：它发现的第一件事是需要修复的最重要的事情。