使用人工智能代理大规模自动化个性化算法的黑盒审核

个性化算法决定用户在在线平台上遇到的内容。审计这些系统很困难，因为独立审计员只能黑盒访问算法，而个性化取决于用户的属性、行为和不断发展的交互历史。现有的审计方法面临着一个权衡：对真实用户的研究捕捉了真实的行为，但成本高昂且难以控制，而傀儡审计更容易扩展，但通常依赖于限制现实性的脚本行为。除此之外，这两种方法都难以将用户属性与用户行为分离，从而限制了我们因果地理解个性化的能力。为了解决这一差距，我们引入了一个对个性化算法进行黑盒审计的框架，使用生成式人工智能代理作为合成帐户的行为引擎。每个代理都以固定的角色实例化，以人口和政治调查数据为基础，并通过推理和选择操作与平台内容​​进行交互。由于每个角色的行为都是固定的，而年龄、性别或位置等平台可见信号可以通过实验进行干扰，因此我们的设计可以对平台如何响应用户属性进行反事实审核。作为案例研究，我们在 2024 年美国大选后不久在 X 上部署了 1,120 名代理，涵盖 14 个角色和 3 个反事实条件，收集了超过 200,000 条内容曝光。我们发现，相对于按时间顺序排列的内容，X 的算法提要放大了有毒、两极分化、政治和右倾内容，而且放大程度因用户意识形态而异。反事实分析表明，人口统计信号以依赖角色的方式影响内容传递：汇总效应基本上为零，而亚组层面的效应在方向和幅度上各不相同。我们的工作将基于 GenAI 的代理建立为算法审计的新工具。