论文
关键基础设施运营中LLM Agent的任务感知Harness供给
Task-Aware Harness Provisioning for LLM Agents in Mission-Critical Infrastructure Operations
摘要
LLM Agent已被广泛用于运营任务关键基础设施(MCI)。这些Agent通常依赖一个harness,由它决定Agent能访问什么信息、使用哪些工具以及能采取什么行动。现有系统往往向每个任务暴露同一个大而全的harness,这可能并无必要并造成资源浪费。本文聚焦于识别最优harness配置,并将其视为每个任务所需与harness所供之间的资源匹配问题。为衡量这种匹配,我们基于底层系统的数学表示对MCI任务进行分类,并按harness配置所提供信息的数量和类型对其排序。随后我们从两个来源构建任务到harness的映射:挖掘研究文献和测量受控的Agent执行。利用测得的映射,我们提出一种新的harness供给算法:映射引导升级(map-guided escalation)。它从任务专用harness起步,仅在自检失败后才扩展到完整供给。我们在两个代表性MCI任务上评估该方法:在液体冷却任务中,它把Agent准确率从完整供给下的0.652提升到0.715,并以少48%的token达到与Reflexion相当的准确率;在电网任务中,完整供给仍是准确率最优,而基于映射的供给提供了成本更低的替代方案。这些发现表明,harness供给遵循的是依赖领域的准确率-成本帕累托前沿,而非普适最优。
