SkillFuzz：在开放技能市场中模糊化技能组合以发现隐式意图

基于 大语言模型 (LLM) 的代理通过可重用的技能、指导规划和执行的自然语言说明文档，越来越多地实现软件工程任务的自动化。开放技能市场使用户能够通过共同激活社区贡献的技能来组建代理，但市场运营商通常会单独审核技能。因此，个体良性技能可能会相互作用，将代理重定向到意想不到的目标，我们将其称为隐式意图。检测此类意图具有挑战性，因为效果只能通过技能组合出现，执行环境在准入时通常不可用，并且可能的共同激活空间随着市场规模呈指数级增长。在本文中，我们将隐式意图发现表述为技能组合的模糊问题，其中技能组合是被测试的单元，规划工件在执行之前暴露代理意图，并且与无技能基线的偏差充当差异预言机。基于这个公式，我们提出了 Skillfuzz，这是第一个免执行测试方法，它提取结构化技能合同并使用合同引导的蒙特卡罗树搜索来优先考虑潜在冲突的组合。在具有代表性的技能市场工作负载中，skillfuzz 在固定查询预算下发现了 1,000 多个不同的隐式意图，在执行时验证期间确认了 80% 以上的最高风险标记组合，并比其他搜索策略识别出更多的高严重性隐式意图，同时仅探索它们所需的一小部分配对交互空间。