论文
SPILLage:Web上的Agentic过度分享
SPILLage: Agentic Oversharing on the Web
摘要
由LLM驱动的智能体开始在整个开放Web上自动化用户的任务,通常可以访问电子邮件和日历等用户资源。与在受控聊天机器人(ChatBot)环境中回答问题的标准LLM不同,Web智能体“在野外”行动,与第三方交互并留下行动痕迹。因此,我们提出这样一个问题:Web智能体在真实网站上代表用户完成任务时如何处理用户资源?本文将自然Agentic过度分享(Natural Agentic Oversharing)形式化——即通过智能体在Web上的行动痕迹对与任务无关的用户信息的无意泄露。我们提出SPILLage框架,沿两个维度刻画过度分享:渠道(内容与行为)和直接性(显式与隐式)。这一分类法揭示出一个关键盲点:在已有工作聚焦文本泄露的同时,Web智能体还会通过可被监测的点击、滚动和导航模式在行为层面过度分享。我们在真实电商网站上对180个任务进行基准测试,提供区分任务相关与任务无关属性的真值标注。在横跨两个agentic框架与三个骨干LLM的1,080次运行中,我们证明过度分享普遍存在,且行为性过度分享在数量上以5倍主导内容性过度分享。在提示层面的缓解措施下,这一效应依然存在,甚至可能加剧。然而,在执行前移除与任务无关的信息可将任务成功率提升至多17.9%,表明减少过度分享能改善任务成功率。我们的发现强调,保护Web智能体的隐私是一项根本性挑战,需要对“输出”采取更宽泛的视角,即考虑智能体在Web上做了什么,而不仅是它们键入了什么。我们的数据集与代码发布于 https://github.com/jrohsc/SPILLage。
