论文
规范程序操作:工具使用代理跟踪的可审计注释协议
Canonical Procedural Actions: An Auditable Annotation Protocol for Tool-Use Agent Traces
摘要
工具使用代理跟踪可识别消息和 API 调用,但程序分析还需要明确的操作单元以及与其证据的可检查链接。我们提出了规范程序操作(CPA),这是一种注释协议,用于记录程序函数、其第一个代理事件锚、实现它的代理事件以及单独的上下文证据。多个动作可以共享消息锚点,而无需推断消息内顺序。零售案例研究通过开放式归纳、记录合并和连续的应用程序审核生成了版本化的 24 条目密码簿。两个孤立的 LLM 上下文注释了 32 个与轨迹水平上的发展脱节的轨迹,产生了 499 和 491 次出现,锚标签重叠 A=0.982。要求相同的上下文事件引用可将重叠减少到 0.798。这些是结构可重复性度量,而不是语义准确性:26 个任务 ID 中的 16 个也在开发中出现,历史工具有效负载被截断为 110 个字符。回顾性控制显示,折叠所有标签会将重叠度提高到 0.986,而简单的端点规则会以 0.997 的重叠度重现工具锚定部分。助理消息操作有 0.971 的重叠,每个标签的最小值为 0.816。将冻结的密码本应用到 244 个进一步的轨迹中会产生 4,058 条记录,其中包括 8 个诊断结果。该贡献是一个明确的、可审计的注释工具及其构造和测量限制的案例研究;人类参考有效性和下游效用仍有待确定。