LLM信息敏感性理论

大语言模型 (LLM) 越来越多地被部署为代理系统中的优化模块，但这种 LLM 介导的改进的基本限制仍然知之甚少。在这里，我们提出了一种 LLM 信息敏感性理论，其核心假设是，当计算资源足够大时，固定 LLM 的干预不会增加策略集相对于预算的性能敏感性。我们开发了一个多变量效用函数框架，将该假设推广到具有多个共变预算通道的架构，并讨论了共同缩放可以超过敏感性界限的条件。我们跨结构不同的领域和跨越一个数量级的模型规模实证验证了该理论，并表明嵌套的共同缩放架构打开了固定配置无法使用的响应通道。这些结果阐明了 LLM 干预何时有帮助，何时无帮助，证明统计物理学的工具可以为人工智能系统的设计提供预测约束。如果敏感性假设普遍成立，则该理论表明嵌套架构可能是开放式代理自我改进的必要结构条件。