论文
稀疏性是必需的:大动作空间中Agentic LLM的多项式时间稳定性
Sparsity Is Necessary: Polynomial-Time Stability for Agentic LLMs in Large Action Spaces
摘要
工具增强的LLM系统暴露了一个学习理论基本忽视的控制体制:在巨大的离散动作宇宙(工具、API、文档)中进行序贯决策,其中对任何固定任务分布只有小的、未知的子集是相关的。我们将该设定形式化为稀疏agentic控制(Sparse Agentic Control,SAC),其中策略在M >> 1个动作上允许块稀疏表示,奖励依赖稀疏主效应与(可选的)稀疏协同效应。我们通过凸代理研究ell_{1,2}正则化策略学习,并建立尖锐的压缩感知式结果:(i)在Policy-RSC条件下,估计与值次优性按 k(log M / T)^{1/2} 缩放;(ii)在非相干性与beta-min条件下,当 T > k log M 时,通过原-对偶见证论证实现精确的工具支撑恢复;(iii)任何稠密策略类都需要 Omega(M) 样本,这解释了纯提示控制器的不稳定性。我们进一步表明,在部分可观测下,LLM仅通过信念/表示误差 epsilon_b 起作用,产生加性 O(epsilon_b) 的退化,同时保持对M的对数依赖。扩展涵盖免调参、在线、鲁棒、组稀疏与交互感知的SAC。