思考-验证-修改：使用视觉语言模型和动态逻辑张量网络进行神经符号视觉推理

视觉推理任务需要一个系统来共同感知视觉内容并应用形式关系约束——纯神经方法和纯符号方法都无法单独处理这种组合。本文提出了一种神经符号 (NeSy) 框架，该框架通过在闭合迭代反馈环中将用于自动一阶逻辑 (FOL) 规则归纳的视觉语言模型 (VLM) 与用于可微分规则验证的动态逻辑张量网络 (D-LTN) 紧密耦合来缩小这一差距。 VLM 接收一小组带标签的视觉示例，并提出符合严格语法的候选 FOL 规则（Think）； D-LTN 在运行时根据这些规则自动组装，并根据 CNN 生成的视觉嵌入对其进行评估（验证）；验证失败会被反馈来指导VLM的下一个假设（Revise）。该系统在四个视觉域（MNIST、EMNIST、KMNIST、FMNIST）的 ViSudo-PC 基准测试上进行评估，仅使用三个训练示例作为视觉上下文即可得出有效的数独约束规则。所提出的方法实现了 AUC 分数匹配或优于以前的方法（NeuPSL、LTN），显示了通过 VLM 自动发现规则的潜力。代码可在 https://github.com/homayoun-afshari/nesy 获取。