论文
LLM Agent能否竞争性定价?Agentic商业的动态多属性拍卖基准
Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce
摘要
代理经济正从概念走向实际部署的基础设施:支付网络、零售商和AI平台正在为代理进行交易。然而,这些代理背后的LLMs是否能够在真实市场中竞争,即客户偏好隐藏、竞争对手实时适应、需求突然变化的情况下,尚未进行系统性测试。我们引入Bazaar,这是一个多属性拍卖的动态密封拍卖基准,这些条件包括客户效用的封闭形式。尽管其动态性,基准是基于封闭形式的客户效用,因此可以进行精确评估。在11个由四个提供商提供的前沿LLMs中,代理在客户获取方面表现最好的(例如,Gemini 3.1 Pro)通常不是在利润方面表现最好的(例如,Opus 4.6)。在需求冲击下,代理排名再次变化:在冲击前学习最快的代理通常在冲击后最慢地调整信念,而Gemini 3.1 Pro尽管在利润方面表现最差,但恢复速度最快。然而,即使是最强大的代理也只捕捉不到三分之一的 hindsight-optimal利润,这表明当前的LLMs在代理经济中正在进步,但留下了大量空间。
