论文
从智能体轨迹构建自动机:失败与下一步预测
Automata from Agent Traces: Failure and Next-Step Prediction
摘要
基于LLM的智能体执行多步任务,但其行为结构仍不透明:冗长的非结构化轨迹使部署所需的安全审计和运行时监控变得困难。现有方法按单条轨迹或仅在成功案例上操作,因此错过了连接下一步预测与失败预测的跨运行拓扑。为了恢复这种共享结构,我们把整个轨迹语料压缩为单个紧凑的有限状态机(FSM),作为LLM智能体本难以预测行为的结构基底。在12个公开数据集上,这些FSM紧凑(7-43个状态),以≥0.997的拟合度重放保留数据,跨数据划分拓扑几乎一致,且构建只需毫秒级。这一基底同时服务于两个预测目标。对于下一步预测,FSM状态上下文在每个有真值匹配的数据集上都优于Agent Workflow Memory。对于失败预测,逐状态行为特征在保留集上AUROC最高达0.94,在线监控器能从部分轨迹中把失败运行排在成功运行之前,从而在完成前很久就触发提前停止。行为拓扑似乎更多由部署harness而非LLM本身塑造,这为安全审计和运行时监控提供了与模型无关的结构原语。
