设备上 Agentic 操作缓存 -- 以分类器为中心的 NL 到操作生成

Agentic AI 越来越多地嵌入软件应用程序中，为特性和功能提供自然语言界面。在大多数情况下，这些Agent由企业（超过 100 亿个参数）或前沿级大语言模型提供支持，这些模型需要运行大量计算资源，并依赖于云托管推理来处理将自然语言输入转换为可操作的软件操作的任务。这种对云托管推理的依赖在 LLM 推理时间之外引入了相当大的网络延迟，产生了数据隐私问题，并且考虑到运行这些模型的成本，可能会迅速增加与支持 agentic 功能相关的费用。本文介绍了一种通过设备上操作缓存将 NL 到动作问题从生成问题转换为以分类为中心的公式的新方法。这些缓存允许 agentic 系统完全在设备上处理频繁发生的操作类别，从而减少延迟、增强隐私并降低运营成本。我们表明，对于经典的 NL 到公式任务，根据用户请求生成 Excel 公式，与仅基于云的模型路由推理相比，这种方法将总推理成本降低了 56%，并且在缓存命中时，将响应延迟降低了 5 倍。