论文

大语言模型驱动的自动驾驶车辆继承人类驾驶者的行人礼让偏差:新基准的结果与启示

LLM-Driven Autonomous Vehicles Inherit Human Driver Biases in Pedestrian Yielding: Results and Implications From A New Benchmark

模型评测鲁棒性、公平性与可信度评测

摘要

公众对自动驾驶汽车(AV)的信任可能不仅取决于技术上的成功,还取决于其决策的公平性。虽然自动驾驶汽车研究的最新趋势涉及使用通用“常识”模型来指导自动驾驶汽车决策,但这些模型继承人类驾驶偏见的程度仍未得到充分研究。鉴于心理学研究表明人类驾驶员存在偏见,例如美国黑人行人的让行率较低,我们认为模型偏见的分析也应该成为自动驾驶汽车评估的一部分。具体来说,在本文中,我们提出了两种针对大语言模型(LLM)和视觉语言模型(VLM)的新偏差测试方法——“所有其他均等”测试和“自洽”测试——以评估行人让行决策中的偏差。我们的研究结果表明,LLM和LLM所做的决策都受到行人性别、种族、宗教、残疾、年龄、肤色和社会经济地位的影响。虽然不同模型的偏差类型和程度不同,但我们强调共同模式,并提出有关“常识”模型范式的问题,特别是需要修改范式或解决下游偏差问题。

大语言模型驱动的自动驾驶车辆继承人类驾驶者的行人礼让偏差:新基准的结果与启示:论文配图
(a) AEBE测试管道(b)SC测试管道图1:拟议审计方法概览:大语言模型“全利平等”测试和VLMs自闭性测试,后者评价由大语言模型驱动的AV产生不同人口组别之间决策差异。