论文
ICAT:基于事件案例的自适应测试,用于具身世界模型中的物理风险预测
ICAT: Incident-Case-Grounded Adaptive Testing for Physical-Risk Prediction in Embodied World Models
摘要
视频生成世界模型越来越多地用作具体规划和政策学习的神经模拟器,但它们预测物理风险和严重后果的能力却很少被评估。我们发现这些模型经常淡化或忽略关键的危险线索和危险行为的严重后果,这可能会在想象中的部署和训练期间引发不安全的偏好。我们提出 ICAT,它通过构建结构化风险记忆并检索/组合它们,以真实事件报告和安全手册为基础进行测试,以限制具有因果链和严重性标签的风险案例的生成。基于 ICAT 基准的实验表明,主流世界模型经常遗漏机制和触发条件,并且错误校准严重性,达不到安全关键型具身系统部署所需的可靠性。