用于数据工程的神经符号：无需微调即可减少长上下文标记

大语言模型 越来越多地部署用于复杂的数据工程任务，例如从自然语言生成结构化查询、文本到 SQL 以及自动执行复杂的电子表格操作。然而，要最大化其效用，既需要更高的免微调精度，又需要解决 Transformer 架构固有的二次 (On2) 时间复杂度所带来的计算瓶颈。本文介绍了一种新颖的嵌入式神经符号层，旨在无缝集成到现有的 LLM 主干中，从而增强逻辑推理并减少长上下文资源消耗。在推理方面，该层立即显着提高了性能，在包括 BIRD-CRITIC 和 LiveSQLBench 在内的严格基准测试中，平均准确度提高了 85%，在没有任何特定于任务的微调或 RLHF 的情况下实现了这些收益。同时，我们重新利用这种方法来解决长上下文推理的严重计算压力。通过利用符号处理对相关上下文信息进行优先级排序和压缩，该层将有效词元使用量减少了 50% 以上，并将某些长上下文任务的有效时间复杂度从 O(n2) 降低到大约 O(n)。这种双重影响方法不仅使 LLM 对于数据工程来说更加可靠，而且还大大降低了推理芯片的计算压力，使长上下文任务更易于管理且更具成本效益。