论文

面向高效智能体推理的潜在动作重参数化

Latent Action Reparameterization for Efficient Agent Inference

智能体系统Agent 架构与控制循环

摘要

大语言模型(LLM)智能体往往依赖冗长的低层文本动作序列,导致有效决策视界大、推理成本高。以往工作多聚焦于通过系统级优化或提示工程提升推理效率,我们认为一个关键瓶颈在于动作空间本身的表示。我们提出潜在动作重参数化(LAR),这一框架学习一个紧凑的潜在动作空间,其中每个潜在动作对应一个多步语义行为。通过把智能体动作重参数化为潜在单元,LAR在保持原动作空间表达能力的同时,使决策得以在更短的有效视界上进行。与手工宏或分层控制器不同,潜在动作从智能体轨迹中学习并直接集成到模型中,使规划与执行都能在抽象动作表示上运行。在一系列基于LLM的智能体基准上,LAR显著缩短了有效动作视界,并在固定计算预算下提升了推理效率。由此,我们的方法大幅减少了动作token及相应的实际推理时间,同时保持或提高了任务成功率。这些结果表明,动作表示学习是扩展高效LLM智能体推理的一个关键且未被充分探索的因素,与模型架构和硬件方面的进展互补。

面向高效智能体推理的潜在动作重参数化:论文配图
图 1:潜在动作重新参数化 (LAR) 概述。 LAR 通过将转换等效动作段分解为可执行的潜在动作来重新制定代理决策,从而减少有效决策范围。低熵结构组件被抽象为潜在动作,而高熵参数绑定内容仍然是显式的以保持可执行性。