BazaarBench：LLM智能体运营的去中心化 C2C 市场中的委托安全

在去中心化的消费者对消费者 (C2C) 市场中，人们列出商品、与陌生人谈判并相互评价，因此信任依赖于声誉。 大语言模型 (LLM) 智能体现在代表用户行事，这增加了他们的金钱、隐私和声誉的风险。我们介绍 BazaarBench，一个模拟 C2C 市场和评估这些智能体安全性的基准。它跟踪交易中的所有权、物品状况和承诺，将记录检查与基于标题的LLM判断相结合，以识别五个阶段的六种故障类型。我们运行三个基础市场 30 天，每个市场使用一种模型和从公共 eBay 样本中提取的库存，每个市场有 100 个智能体。在 45 个延续中，我们在普通指令、截止日期压力或对抗性指令下评估了五个模型，以利用其他交易者。每个延续从市场第 30 天状态的副本运行 7 个模拟天。测试模型控制相同的 20 个选定的智能体，保留其角色、库存和历史，而其他 80 个保留基本模型。所有五个模型都试图在普通指令下向多个买家承诺相同的商品。添加目标和截止日期会增加每个模型的这些尝试。在对抗性指令下，尽管商品不可用或条件夸大，受测卖家仍完成承诺交易的比例从 15.4% 上升至 33.4%，GPT-5.4 达到 55.5%。跨模型和市场平均，每个测试的智能体的模拟周收益从普通指令下的 20 美元上升到对抗指令下的 33 美元。大部分增长来自卖家从未持有过的物品。我们发布了模拟器，保存了市场状态、评估代码和记录，涵盖 357,608 个智能体模型调用，用于评估新模型和开发更安全的市场智能体。