论文
SkillTrace:LLM Agent技能复用的多轨迹来源审计
SkillTrace: Multi-Trace Provenance Auditing for LLM-Agent Skill Reuse
摘要
LLM-代理生态系统正迅速发展,这些生态系统包含可重用技能:混合模态的元数据、自然语言指令、代码、工具和操作流程。随着技能成为市场上的商品,审计其重用不再是一个普通的代码克隆检测问题。现有的检测器仅针对单一模态源代码或整包相似性,而技能重用证据分布在作者文本、实现片段和操作结构中。因此,它们可能会遗漏保留技能一部分但不保留其他部分的重用。我们提出SKILLTRACE,这是一种多追踪的审计框架,用于LLM-代理技能重用。SKILLTRACE从三个来源提取证明:表达、实施和操作。它将操作性证明表示为Skill Operational Graph(SOG),捕捉激活、过程和资源流结构。仅在摄入时,一个LLM协助提取操作性证明;在审计时间,SKILLTRACE确定并比较缓存的证明,以严格负例进行校准,并报告支持重用决策的证明。在SKILLTRACE-BENCH上,与100个市场锚点上的820个转换后的重用正样本和751个负控制相比,SKILLTRACE在AUROC(0.938)和F1(0.898)方面取得了优异的性能。进一步的36,446个技能审计也表明,带有属性证明的操作性证据超越了仓库级别的基准。
