未找到安全性（404）：基于大语言模型的机器人决策的隐藏风险

人工智能系统在安全关键环境中犯下的一个错误就可能导致生命损失。随着大语言模型（LLM）成为机器人决策不可或缺的一部分，风险的物理维度也在增长；一个错误的指令就可能直接危及人身安全。本文解决了在即使很小的错误也会造成灾难性的情况下系统评估大语言模型表现的迫切需要。通过对火灾疏散场景的定性评估，我们确定了基于大语言模型的决策中的关键失败案例。在此基础上，我们设计了七个定量评估任务，分为：完整信息、不完整信息和面向安全的空间推理（SOSR）。完整的信息任务利用 ASCII 地图来最大程度地减少解释歧义并将空间推理与视觉处理隔离。不完整的信息任务需要模型来推断缺失的上下文，测试空间连续性与幻觉。 SOSR 任务使用自然语言来评估危及生命的情况下的安全决策。我们在这些任务中对各种大语言模型和视觉语言模型 (VLM) 进行基准测试。除了总体性能之外，我们还分析了 1% 故障率的影响，强调“罕见”错误如何升级为灾难性结果。结果揭示了严重的漏洞：多个模型在 ASCII 导航中的成功率为 0%，而在模拟消防演习中，模型指示机器人移向危险区域而不是紧急出口。我们的研究结果得出了一个发人深省的结论：当前的大语言模型还没有准备好直接部署在安全关键系统中。 99% 的准确率在机器人技术中具有危险的误导性，因为这意味着每 100 次执行中就有一次可能会导致灾难性的伤害。我们证明，即使是最先进的模型也无法保证安全，并且绝对依赖它们会带来不可接受的风险。