SOTOPIA-TOM：多智能体交互中的隐私与信息管理评测

随着基于 LLM 的代理越来越多地在多方环境中交互，他们需要正确处理信息不对称，即知道何时以及向谁披露信息是适当的。然而，现有的基准无法在现实的多方环境中衡量这种能力。因此，我们引入了 SOTOPIA-TOM，这是一个多维基准测试框架，用于评估 LLM 代理成功导航信息不对称和隐私敏感的多方交互的能力。我们创建了一个能够实现公共（广播）和私人（直接消息）通信的交互环境，并在八个行业领域精心设计了 160 个经过人工审核的场景，每个场景涉及 3 到 5 个具有分区私有知识和依赖于渠道的共享政策的代理。为了衡量交互能力，我们创建了一个多维评估框架来评估代理共享有用信息、寻找缺失细节、有效协调和保护隐私的程度，并将其合并到复合 INFOMGMT 指标中。结果表明，在 6 个 LLM 主干和提示策略（普通、CoT 隐私和基于 ToM 的干预措施）中，即使是最大的高推理模型 (GPT-5) 也只能达到 62% 的 INFOMGMT 分数，这表明信息搜索和隐私意识决策方面持续存在缺陷。此外，基于 ToM 的干预措施更一致地改善了整体协调与隐私的平衡（例如，相对于普通基线，ToM-Coach 将 GPT-4o 上的严重隐私侵犯从 9.9% 减少到 2.2%，同时将 InfoMgmt 综合得分从 15% 增加到 40%，提高了 2.5 倍以上）。总体而言，SOTOPIA-TOM 暴露了当前 LLM 代理在复杂、信息不对称协调中的持续局限性，并为开发更具隐私意识、具有心智理论能力的多代理系统提供了可扩展的测试平台。