论文

信息物理系统中LLM智能体规划策略的战略评测

Strategic Evaluation of Planning Strategies for LLM Agents in Cyber-Physical Systems

智能体系统Agent任务评测

摘要

对 LLM 规划代理的评估主要询问任务是否成功或声明的计划是否得到遵循。在战略网络物理系统中,一个更严重的问题是,在自主参与者做出响应并且物理限制结果之后,规划架构是否仍然合适。我们引入了一个受控的、基于物理的基准,围绕规划引发的控制轨迹构建:有序的规划操作和指令,执行架构通过它们作用于其他代理和物理过程。它在智能电网需求响应系统中实现了预定义、顺序、分层和搜索执行器,该系统具有 40 个异构产消者和一个独立模拟的径向馈线。 LLM 仅限于类型化的策略声明和简短的操作员消息,而时间表构建、产消者动态和功率流仍然是显式代码。该协议使用配对强制模式反事实、常见的随机响应抽取和事件级截止日期可行性。接下来是三个属性。架构实质上改变了结果:强制搜索是所有五个基线种子中的神谕。执行保真度需要的不仅仅是模式一致性:目标替代将一致性保持在 1.0,同时电压缺口增加了 2.68 倍。一个包含 144 个场景、576 集的银行拥有来自四种架构中的三种架构的可行预言机。预先指定的压力保持脊线的平均后悔值为 90.7(95% 区间 [73.8, 108.6]),并且相对于固定序列没有可检测值;在质量预测之前应用已知的截止日期可行性将遗憾减少到 29.0,并且比固定顺序提高了 61.1。一切可行的消融并不能击败固定搜索,将剩余的挑战局限于可行的质量选择。五模型扩展将压力条件声明者、状态盲声明者和不变声明者分开;延迟尾部表明应从概率角度对待实时可行性。