论文

NeSy-CSA:开放式关键场景归因的神经符号框架

NeSy-CSA: A Neuro-Symbolic Framework for Open-Ended Critical Scenario Attribution

模型推理推理策略与问题分解

摘要

了解为什么发现的场景在基于场景的测试中变得至关重要,对于在决策系统中有效利用它们至关重要。关于这种关键性的推理可以表述为归因问题。然而,在不同的决策任务中,关键性的原因可能涉及不同的状态变量、交互模式和失败机制,使得归因本质上是一个超出预定义解释空间的开放式问题。现有的归因方法仍然难以平衡开放式推理的灵活性与关键场景推理所需的可解释性和可追溯性。为了解决这个限制,我们提出了 NeSy-CSA,这是一种神经符号框架,它将开放式关键场景归因从不受约束的解释生成转变为结构化和可追溯的推理。 NeSy-CSA通过选择相关因素缩小归因空间,通过依赖感知证据图使推理过程可追溯,并执行源自原子操作的符号推理程序,与证据约束的神经推理相配合,支持灵活的开放式归因。我们进一步引入过程级和结果级评估模块来评估受控干预下归因过程的结构有效性和归因结果的行为有效性。在四个决策环境中进行的实验表明,与基于 LLM 的基线相比,NeSy-CSA 将两种基于干预的归因有效性衡量方法分别提高了 18.32% 和 13.67%。这些结果证明了其将发现的关键场景转化为可重复使用的知识以进行后续测试和安全分析的潜力。