基于人工智能的紧​​急警察派遣中的人口统计偏差审计：对 11 个 大语言模型 的跨语言评估

大语言模型 (LLM) 正在迅速集成到高风险公共安全系统中，包括紧急呼叫分类和调度决策支持，但其在这种情况下的人口统计公平性在很大程度上尚未经过测试。在这里，我们介绍了一个跨语言审计框架，该框架将警察优先调度系统作为五级顺序分类任务进行操作，并应用受控最小配对设计来隔离人口统计线索的影响。在涵盖 11 个前沿模型、15 个情景对、三个人口统计类别（宗教外表、性别和种族）和两种语言（英语和普通话）的 19,800 个模型输出中，我们发现，当事件严重性不明确时，人口统计偏差会系统性地出现，但当操作优先级由呼叫内容明确确定时，人口统计偏差基本上消失。偏见的大小因人口统计轴而异，其中宗教外表的影响最大，其次是性别和种族。至关重要的是，偏见在不同语言之间的传递并不一致：性别偏见在普通话中被大大放大，而种族偏见在英语中更为明显，揭示了跨语言的不对称性，而汇总分析却难以理解。在某些情况下，人口统计线索会产生相反的效果，挑战对模型行为的简单刻板印象放大解释。这些发现表明，基于 LLM 的调度中的偏差并不是模型本身的固定属性，而是由人口统计信号、上下文模糊性和语言之间的相互作用产生的。除了这些实证结果之外，拟议的框架还提供了一个可扩展的审计基础设施，使部署机构能够在实际采用之前评估司法管辖区相关场景的候选模型。