论文
TVCACHE:用于 后训练 LLM 代理的状态工具值缓存
TVCACHE: A Stateful Tool-Value Cache for Post-Training LLM Agents
摘要
在 LLM 代理的 RL 后训练 中,对外部工具的调用需要几秒钟甚至几分钟的时间,导致分配的 GPU 空闲,并增加 后训练 的时间和成本。虽然许多工具调用在并行采样中重复,并且原则上可以缓存,但天真地缓存其输出以供重用是不正确的,因为工具输出取决于先前代理交互引起的环境状态。我们推出了 TVCACHE,它是 LLM 代理 后训练 的有状态工具值缓存。 TVCACHE 维护一棵观察到的工具调用序列树,并执行缓存查找的最长前缀匹配:仅当代理的完整工具历史记录与先前执行的序列匹配时才会发生命中,从而保证相同的环境状态。关于三种不同的工作负载——基于终端的任务、SQL 生成和视频理解。 TVCACHE 实现了高达 70% 的缓存命中率,并将工具调用执行时间中位数减少了高达 6.9 倍,而 后训练 奖励积累没有下降。