论文
弹性对于实体代理系统至关重要:新指标、系统评估和优化
Resilience Matters for Embodied Agents System: New Metrics, Systematic Evaluation, and Optimization
摘要
嵌入式代理系统 (EAS) 越来越多地部署在开放世界的物理域中,其中可靠性直接决定了部署质量和人工代理信任。然而,现有的评估依赖于以结果为中心的指标作为成功率或安全分数,将不同的执行轨迹分解为粗略分数,从而模糊了代理行为背后的动态过程。因此,他们忽略了 EAS 的一个关键属性(我们将其定义为弹性),该属性反映了 EAS 在扰动和迭代更新下如何恢复、稳定和扩展。由于持续的意外中断,弹性的缺乏在开放世界环境中尤为严重,从而直接影响 EAS 部署的质量。为了解决这个问题,我们从弹性工程概念到 EAS 基础中获得见解,并提出了一种可以灵活应用于任何 EAS 的新型弹性评估框架。具体来说,我们为 EAS 系统定义了第一个全面的弹性指标套件,该套件在具体任务执行中公开了反弹、稳定性和良好的可扩展性,为 EAS 弹性分析提供了实用的基础。我们进一步实现了弹性评估层,将执行过程转化为诊断和优化的评估。在具有 10 个 EAS 的 400 项家庭任务中,我们揭示了结果指标隐藏的过程级别差异,包括成功事件之间的恢复成本差异 ($ΔC_{rec}=25.2$)、增加的不稳定性和任务族退化。指标引导的优化降低了恢复成本并提高了稳定性,优雅地完成了可扩展性,显示了弹性评估的诊断效果。我们的结果揭示了弹性特性之间的权衡,表明弹性 EAS 结构应根据部署特定要求进行配置。