论文

面向驾驶辅助中场景中心语义解释的双阶段LLM框架

Dual-Stage LLM Framework for Scenario-Centric Semantic Interpretation in Driving Assistance

模型评测鲁棒性、公平性与可信度评测

摘要

高级驾驶辅助系统(ADAS)日益依赖基于学习的感知,但安全相关的失效常常在没有部件故障的情况下出现,其驱动因素是可观测性不足以及风险被解读与传达时的语义模糊。本文提出一个以场景为中心的框架,用于对城市驾驶情境中基于 LLM 的风险推理进行可复现的审计。从多模态驾驶数据构建确定性的、时间有界的场景窗口,并在固定的提示约束与封闭的数值风险模式(schema)下进行评估,确保跨模型输出结构化且可比较。在一个精选的近人(near-people)场景集上的实验,在相同输入与提示下比较了两个纯文本模型与一个多模态模型。结果揭示出模型之间在严重度判定、高风险升级、证据使用与因果归因上的系统性分歧。分歧还延伸到对弱势道路使用者在场的解读,表明这种变异性往往反映内在的语义不确定性,而非孤立的模型失效。这些发现凸显了在将基于 LLM 的推理集成进安全对齐的驾驶辅助系统时,以场景为中心的审计与显式模糊性管理的重要性。

面向驾驶辅助中场景中心语义解释的双阶段LLM框架:论文配图
图 2:确定性场景构建和消费工作流程。标准化场景状态 𝒰⁡(a,t)\mathcal{U}(a,t) 以 1 Hz 索引,由后端数据服务查询,以在结构化查询规范 θ\theta 下通过​​确定性运算符 ℬ⁡(⋅)\mathcal{B}(\cdot) 实现场景快照 𝒮⁡(a,t)\mathcal{S}(a,t)。场景构建结合了涵盖视觉感知、车辆遥测、天气背景和地图信息的语义过滤器。生成的场景始终暴露给基于 Web 的创作界面以进行选择和检查,以及本地测试模块以进行场景评估。