论文
将分层认知过程与过程监督相结合,实现可解释的场景安全理解
Combining Hierarchical Cognitive Process with Process Supervision for Interpretable Scene Safety Understanding
摘要
场景安全理解在各个关键领域的态势感知中起着生死攸关的作用。依赖于学习场景和安全级别之间的直接映射的传统方法通常缺乏可解释性,限制了其在关键应用中的可靠性。克服这一挑战的有效方法在于解释人类认知过程并为机器模型配备类似的认知能力。本工作探索了一种将场景安全认知过程建模与过程监管相结合的有效方法。具体来说,我们首先构建了一个分层的认知安全结构,该结构促进了基于带有过程标签的多步骤推理的新颖的高质量场景安全理解数据集的开发。该数据集既可以作为基准,也可以作为提高大型语言模型 (LLM) 安全推理能力的资源,同时还可以通过信息流和基于显着性的技术对中间推理步骤进行精细分析。在此基础上,我们引入了一个模块化且灵活的过程监督框架,反映了人类认知的层次性质。该框架利用LLM作为核心架构,并结合低秩适应(LoRA)和专家混合(MoE)策略来实现专家模块之间的专业化和协作,每个专家模块负责整个推理链的特定子过程。系统的实验评估和分析证实,与传统方法相比,我们的框架表现出卓越的可解释性和性能特征。