大型学习模型中的增强与高效推理

对于当前的大语言模型，基于机器学习原理，我们可以信任其产出流畅散文的能力。然而，对于所产出文本的内容，却缺乏可与之比拟的原理性依据来支撑信任。流行的看法似乎是：通过引入更有原理性的推理来解决这一问题，在计算上是负担不起的。在此，我们提出一种原理性的推理方法，其效率足以在大语言模型上实际应用。此外，该方法允许保留当前使用的大部分软硬件基础。我们改进大语言模型功能的方法包括两个阶段：第一阶段预处理将数据重编码为一元关系Integracode（Unary Relational Integracode），使文本所描述对象之间的关系更加显式；第二阶段采用标准但可能精简的机器学习过程，进而学习预测这些关系。该方法可被视为实现了一种世界模型，并可应用于自然语言之外，例如视觉与动作：输入中提及的对象的多种属性被显式地汇聚在一起，而不是分散于输入中对它的各处引用里。我们以Robust Logic阐明其优势，Robust Logic是一个对学习得到（因而是不确定的）信息执行原理性链式推理的系统。我们证明，这种重编码具有一个意外而幸运的性质：在保持简洁的同时，它使学习训练数据所描述世界中成立的关系规则核心子集的任务，在特定定义意义下成为多项式时间可学习的，多项式取决于规则的复杂度。这为学习到的分类器在单次调用内部以及多次调用之间的可靠推理提供了支撑。