用于在资源受限的边缘设备上进行可靠推理的神经符号路由

在边缘硬件上运行语言模型可以在没有网络连接的情况下提供私密和低延迟的推理，但适合此类设备的小型模型对于计算机需要很好处理的任务（例如算术、代数和形式逻辑问题）来说并不可靠。我们认为，这种不可靠性在很大程度上是可以避免的。许多看似需要推理的查询实际上在结构上是确定性的，并且允许快速而精确的符号解决方案。因此，强制概率模型来近似它们会牺牲准确性和能量，但收效甚微。我们提出了一个神经符号路由器，它对每个传入查询进行分类，并将其分派给最便宜的正确求解器，将结构化任务发送给确定性引擎，并为开放式单词问题保留小语言模型（SLM）。我们不是手动编码路由逻辑，而是使用 L* 语法推理算法学习确定性有限自动机 (DFA)，使用 SLM 作为成员预言机，并将标记数据作为等效预言机。在 Raspberry Pi 4B（8 GB RAM，无 GPU）上，对来自 DeepMind Mathematics、GSM8K 和 RuleTaker 的 100 个未经测试的提示进行评估，学习路由在 512 个词元的推理预算下达到了 100% 的路由准确度和 98.3% 的整体准确度（文字问题为 93.3%），而最强Agent基线、思维计划和预测的准确度为 72.0%。给定相同求解器的工具调用Agent为 58.7%。由于格式化查询永远不会到达模型，因此路由器会在 1-11 毫秒内回答它们，并且在其 30 个词元配置中，运行速度比 Program-of-Thought 快 8.8 倍，能效高 2.8 倍。