AgenticCache：针对嵌入式 AI 代理的缓存驱动异步规划

具体的 AI 代理越来越依赖 大语言模型 (LLM) 进行规划，但每步 LLM 调用会带来严重的延迟和成本。在本文中，我们表明具体任务表现出很强的计划局部性，其中下一个计划在很大程度上可以从当前计划中预测出来。在此基础上，我们引入了 AgenticCache，这是一个规划框架，可重用缓存的计划以避免每步 LLM 调用。在 AgenticCache 中，每个代理查询频繁计划转换的运行时缓存，而后台缓存更新程序异步调用 LLM 来验证和优化缓存条目。在四个多代理体现的基准测试中，AgenticCache 在 12 种配置（4 个基准测试 x 3 个模型）中将任务成功率平均提高了 22%，将模拟延迟减少了 65%，并将词元使用率降低了 50%。因此，基于缓存的计划重用为低延迟、低成本的具体代理提供了一条实用的途径。代码可在 https://github.com/hojoonleokim/MLSys26_AgenticCache 获取。