机器看不见:根据完整的市场普查审核人工智能餐厅、咖啡馆和酒吧的推荐
Invisible to the Machine: Auditing AI Restaurant, Cafe, and Bar Recommendation Against a Complete Market Census
摘要
人工智能助手正在成为本地发现的主要界面,但人们对它们出现在哪些场所几乎一无所知——尤其是在食品和饮料领域,这些领域的建议会带来直接的收入影响。我们提出了对人工智能场所推荐的首次人口普查审计:对两个有界市场(巴厘岛苍古和乌布)的 4,776 家咖啡馆、餐馆和酒吧进行了完整枚举,我们根据这些结果评估了四个生产人工智能系统(ChatGPT、Claude、Gemini、Perplexity)对 96 个角色条件查询的 2,208 个基于搜索的响应,这些响应是在预先注册的协议下在 7 天内收集的。因为我们观察整个市场,所以我们可以衡量抽样审计无法衡量的内容:85.6% 的场馆从未被任何系统推荐过——甚至在评级为 50 或以上的已建立场馆中,这一比例为 72.6%。可见性遵循两边距结构。输入答案与文档相关:评论量(OR 1.64)、自己的网站(OR 1.92)、列出的价格信息(OR 1.54)和第三方网络提及(OR 1.44)——而星级在此边缘处为零(OR 0.89)。答案中的排名扭转了这一模式:在推荐的场所中,评级显着预测了第一位置(OR 1.17)。开放 POI 数据集 (Foursquare) 中的存在(民间理论化的可见性因素)在任何边缘都没有显示出积极影响。彻头彻尾捏造的情况很少见(提及的比例为 0.08%),但系统建议永久关闭场馆 93 次——实际的失败模式是陈旧而不是幻觉。跨系统一致性较低(top-20 Jaccard 0.33-0.54)。为期两周的重测显示,跨周期答案的相似性与当天重新运行的相似性相当:流失是采样随机性,而不是时间漂移。我们发布了我们的协议、注册表构建方法和派生数据。