SeFaR：深度神经网络的语义特征感知鲁棒性测试

深度神经网络越来越多地作为感知模块部署在安全关键领域，其中的故障通常是由于罕见和代表性不足的场景引起的。这就需要评估感知模型的语义鲁棒性；行为符合现实世界感知变化的高水平要求。为了解决这个问题，我们提出了 SeFaR，一种以语义特征为中心的视觉模型系统测试框架。给定自然语言要求和一组令人满意的输入，SeFaR 评估各种现实语义变化的鲁棒性，以保持需求满足。该方法采用新颖的分层概念模型，能够对特征空间进行结构化探索，并通过用户定义的概念合并领域知识。利用最先进的扩散和视觉语言模型来生成逼真的语义保留扰动并识别影响行为的先前未知的特征。采用反馈驱动的自适应过程来生成可解释的引发故障的语义概念以及相应的测试输入。对案例研究的评估表明，所提出的框架有效地满足了需求先决条件，同时识别了影响模型决策的独立于需求的特征，使其能够发现故障并将其与这些特征相关联。