论文
使用函数梯度引导语言模型学习概率逻辑程序
Learning Probabilistic Logic Programs with Functional Gradient Guided Language Models
摘要
声明性逻辑程序通过将依赖关系表示为加权组合规则，为编码关系结构和神经符号推理提供了强大且可解释的抽象。然而，从数据中归纳它们仍然非常困难，受到符号搜索空间组合爆炸的瓶颈。LLM最近已成为强大的假设生成器，但当单独使用时，它们缺乏进行可靠合成适合复杂关系分布的有效程序所需的系统归纳推理的能力。我们引入了抓握（概率逻辑程序的梯度增强综合），这是一种神经符号框架，它将关系结构学习转化为函数梯度增强，其中弱学习器是一阶规则，而棘手的内部搜索被委托给 LLM 提案预言机。我们评估了对涵盖分子毒性预测 (Tox21)、诱变和引文匹配 (Cora) 的四个关系基准的掌握，并表明它比纯符号、神经和基于 LLM 的基准有所改进，同时 产生可解释的加权规则集合。通过用梯度引导的 LLM 假设生成取代组合搜索，Grip 保留了增强保证，而不会牺牲符号输出的透明度。