论文

ReactSim-Bench:自动驾驶中反应行为世界模型模拟的基准测试

ReactSim-Bench: Benchmarking Reactive Behavior World Model Simulation in Autonomous Driving

模型评测基准与评测资源

摘要

反应能力是自动驾驶仿真系统的数据驱动行为世界模型模拟器的关键属性。借助此功能,模拟世界代理可以对与日志不同的自动驾驶车辆 (AV) 行为做出可行的响应。然而,现有的行为模拟基准并不直接测量反应能力。他们通常让模拟器共同控制 AV 和周围的代理,并通过日志相似性或开环预测指标来评估真实性。在这项工作中,我们引入了 ReactSim-Bench 来评估自动驾驶中行为世界模型模拟的反应能力。我们将代理和 AV 的控制解耦,使用与日志不同的 AV 行为,并要求代理作为独立的 AV 输入进行响应。为了获得这些 AV 行为,我们构建了一个管道,使用 AV 规划器模型来生成候选行为,并使用规则和手动验证来过滤数据。碰撞度量、基于地图的度量和运动学可行性度量用于评估反应响应的安全性和规则合规性。我们构建了三个类别的 2,636 个测试场景,并对跨多种架构的最先进模型进行了系统评估,包括基于 Transformer 的模型、基于扩散的模型和基于下一个词元预测的模型。我们进一步分析重新计划频率如何影响性能,并为未来的研究提供见解。