PiSA：多用户代理系统中的上下文完整性基准测试

随着 LLM 代理从单用户助理发展为共享组织基础设施，新的隐私风险出现：不适当的信息不仅可能通过外部接收者的输出而暴露，而且还可能通过代理间消息、共享内存和代理在用户内部暴露。基于上下文完整性 (CI) 的现有隐私基准并未捕获这些数据泄露风险，因为它们主要关注单用户设置或独立代理之间的交互。我们引入了 PiSA（共享代理系统中的隐私），这是一个使用双重 CI 注释评估无意泄漏的基准：信息是否适合该任务，以及哪些用户可以合法访问它。这使得能够直接测量跨代理系统组件和接口的跨用户溢出，例如输出、代理间通信和内存。 PiSAsis 与系统无关，支持跨不同代理拓扑和内存机制的评估。我们发现，尽管系统设计提高了 CI 合规性，但结果因不正确的 LLM 判断调用而受到瓶颈：即使是最先进的模型也无法可靠地过滤不适当的内容或限制向授权用户的传输。我们的研究结果强调了隐私保护策略的必要性，超出了本工作研究的范围。