RedParrot：通过查询语义缓存加速 NL 到 DSL 的业务分析

最近，在小红书，电子商务和广告的快速扩张需要高精度、低延迟的实时业务分析。为了满足这一需求，系统通常依靠将自然语言 (NL) 查询转换为领域特定语言 (DSL) 来确保语义一致性、验证和可移植性。然而，用于此 NL 到 DSL 任务的现有多级 LLM 管道存在令人望而却步的延迟、高成本和错误传播，导致它们不适合企业规模部署。在本文中，我们提出了 RedParrot，这是一种新颖的 NL 到 DSL 框架，可通过语义缓存加速推理。 RedParrot 观察到用户查询中的高重复性和稳定的结构模式，通过将新请求与缓存的“查询骨架”（标准化结构模式）进行匹配并调整其相应的 DSL，从而绕过了成本高昂的管道。我们的核心技术贡献包括（1）离线骨架构建策略，（2）通过对比学习训练的在线实体不可知嵌入模型以实现鲁棒匹配，以及（3）异构检索增强生成（RAG）方法，集成不同的知识源来处理看不见的实体。在小红书的 6 个真实企业数据集上进行的实验表明，RedParrot 的平均加速速度提高了 3.6 倍，准确率提高了 8.26%。此外，在改编自 Spider 和 BIRD 的新公共基准上，它的准确性提高了 34.8%，大大优于标准的上下文学习基准。