OnTrack：通过流式结构感知最佳传输实时监控和干预 LLM 代理轨迹

代理部署在从旅行计划、股票交易到 IT 事件分类等应用程序中。在大多数情况下，LLMAgent以最少的基于规则的保护自主工作，从而导致不可逆转的行为带来成本和安全问题。最近的工作通过使用安全代理来监控行为或事后评估日志来解决这个问题。第一个增加了每一步的成本和延迟；第二个在运行后做出判决，此时token被烧毁并造成损害。为了克服这个问题，我们提出了 OnTrack，这是一种流监控机制，可以将代理的步骤和依赖性与记录的成功运行进行比较，以警告用户或在每步大约一毫秒内阻止代理。我们在三种减少访问的机制中研究这个问题：完全参考访问（历史运行和工具模式）、中间访问（仅工具模式）和无先验知识（仅生成的步骤日志）。随着数据访问的减少，对 OnTrack 监控功能的期望也随之降低，从计划违规检测到识别循环、停顿和重复的工具调用。最后， 我们使用 SWE 基准轨迹评估 OnTrack。基于前 8 个步骤，我们的方法将失败的轨迹排在成功的轨迹之后，优于内容相似性方法 (+0.057 AUROC)。通过中止策略，我们节省了大约 18% 的计算量，这些计算量会因运行失败而被消耗，其中 83% 的中断运行实际上会失败（6 次中止中有 5 次是正确的）。