论文

作为AI中介公共协商表征审计的参与式溯源

Participatory provenance as representational auditing for AI-mediated public consultation

模型评测评测方法与指标

摘要

人工智能越来越多地用于综合政策咨询和参与过程中的大规模公众投入。然而,目前还没有正式的框架来审核这些摘要是否忠实地代表了源人群,这是人工智能可解释性、基础和幻觉检测的现有方法无法解决的责任差距,因为它们关注的是输出质量而不是输入保真度。在这里,引入了参与性起源:一个基于最佳传输理论、因果推理和语义分析的测量框架,用于跟踪个人公众提交的内容如何通过人工智能介导的摘要进行转换、过滤或丢失。该框架应用于加拿大 2025-2026 年国家人工智能战略咨询($n = 5{,}253$ 受访者涉及两个独立的政策主题),结果表明,两个官方政府摘要的表现均低于随机参与者基线($-9.1\%$ 和 $-8.0\%$ 覆盖率下降),其中 $16.9\%$ 和 $15.3\%$ 的参与者被有效排除。排斥集中在对人工智能表达异议、怀疑和批评的群体($33$-$88\%$ 排斥率)。简洁性、语义隔离和修辞语域独立地预测表征结果。随附的开源交互工具“共同创造起源实验室”使政策制定者能够审核并迭代改进摘要,从而大规模建立真正的人在环监督。

作为AI中介公共协商表征审计的参与式溯源
图 1:人工智能介导的公众咨询中人为制造的共识问题。不同的公民贡献进入人工智能调解过程,过滤、偏见和聚合输入。有些声音在最终总结中被保留,而另一些声音则被系统地丢失。产出似乎反映了广泛的公众共识,但实际上代表了一种人为设计的共识,其中异议、少数和结构性弱势观点已被删除。本文介绍了正式的测量工具来检测和量化这种失真。