论文

从意图到动作:车载语音指令授权的LLM安全评测

From Intent to Action: Benchmarking LLM Safety in Vehicle Voice Command Authorization

模型评测安全与风险评测

摘要

LLM越来越多地集成到车载语音助手中,但将自然语言请求连接到车辆功能,会产生安全关键的授权问题。执行命令前,系统必须选择执行、拒绝、澄清、要求确认、转交手动控制、触发应急响应,或不调用工具。据我们所知,既有评估没有跨说话人角色、认证状态、车辆状态和工具可用性,隔离这一动作前决策。我们提出含202个场景的基准,以七类体系给出参考决策,并使用决策一致性与安全专属错误指标评价两个本地开放权重模型和三个API模型。一致性从Llama 3.2 3B的40.1%到Gemini 3.1 Pro Preview的89.1%。API模型得分为83.2%—89.1%,彼此没有统计显著差异。即便这些模型,在161个不应执行场景中仍产生两至三次错误执行,确认和手动控制决策也存在持续错误。受控Llama 3.2 3B消融中,结构化授权策略使一致性达到40.1%,仅模式定义及一般安全基线则为28.2%—29.2%,但仍未消除错误执行。因此,结构化LLM决策不足以单独承担安全机制;部署需要独立执行约束层,在调用任何车辆功能前验证工具权限与车辆状态限制。

从意图到动作:车载语音指令授权的LLM安全评测:论文配图
图1:评估流水线。LLM将带上下文的命令映射为七种授权决策之一,再通过一致性与安全专项指标将其与参考决策比较。