论文

Falcon:X 射线组合推理的功能汇编和语言

Falcon: Functional Assembly and Language for Compositional Reasoning in X-ray

模型评测基准与评测资源

摘要

传统的视觉语言模型主要以对象为中心,专注于检测和描述单个实体。然而,在安全关键的 X 射线行李检查中,威胁通常不是来自单个物体,而是来自空间分散组件(例如电池、雷管和炸药)的功能兼容性。我们将这种设置形式化为\emph{组合威胁推理},其中风险被建模为已定位区域的关系属性,而不是独立的检测结果。我们引入了 \textbf{Falcon},一个多模式框架,它将分段感知区域特征抽象为结构化安全状态,捕获组件存在、成对功能兼容性和场景级风险。这种结构化表示作为显式中间接口注入到语言模型中,鼓励关系一致和安全意识推理。为了评估这个问题,我们提出了 \textbf{Falcon-X},这是一个基准,它将密集目标定位与对组件完整性的结构化监督以及杂乱的 X 射线图像中的风险推断结合起来。实验表明,虽然现有的多模态模型能够适应外观,但它们在成分安全推理方面遇到了困难。 Falcon 改进了功能依据并产生更连贯的威胁评估,将组合安全推理建立为多模式系统的独特评估范例。