论文

LLM 代理系统中的无声故障:熵原理和自治代理不可避免的无序

Silent Failure in LLM Agent Systems: The Entropy Principle and the Inevitable Disorder of Autonomous Agents

模型评测模型行为与机制分析

摘要

大语言模型 (LLM) 代理系统会遭受在没有外部触发的情况下发生的故障——没有注入、没有对抗性输入、没有资源耗尽。这些无声故障——正常情况下与预期行为的意外偏差——通常被错误地归因于错误或配置错误。通过对 40,000 多个对照试验和跨越 100,000 多个代理交互的长期生产观察进行系统分析,我们确定了这些故障背后的共同结构逻辑。基于我们实验中观察到的模式,我们调查了有关自主代理可靠性的全球研究文献,并综合了 LLM 代理系统跨越六个生命周期层的 22 个内在属性:基础语义、代理间传输、记忆持久性、任务执行、反馈校正和系统进化。我们证明,只要这些属性的足够子集共存,系统熵(可测量的无序累积:输出一致性、任务准确性和跨会话一致性的损失)就会随着交互轮次单调增加。我们将其形式化为熵原理:S(t) = S0 * e^(alpha * t),其中 alpha 是跨多个架构根据经验测量的。我们提出采用 ADE(代理交付工程)协议套件的 PIG(物理完整性门)引擎作为熵驱动无序的工程对策。我们的研究结果表明,无声故障不是需要修复的错误,而是智能熵的表现——一种通过确定性治理来管理的物理约束。我们认为,任何稳定代理系统结构和秩序的工程工作都参与一个统一的使命:随着智能系统规模和复杂性的增长,保持其可靠性。