论文

来自地狱的更新:编码智能体 能否避免依赖项升级中的隐藏损坏?

Update from Hell: Can Coding Agents Survive Hidden Breakage in Dependency Upgrades?

智能体系统Agent任务评测

摘要

现代软件系统严重依赖第三方依赖项,但升级这些依赖项仍然是一项成本高昂的维护活动。依赖项升级并不总是保留现有代码假定的函数签名、类型系统、API 或运行时语义。因此,开发人员经常需要执行源代码调整以适应依赖项引起的更改。然而,此类代码级更改通常不会明确传达给项目维护人员,这对软件可靠性构成了重大挑战。同时,编码智能体已经成为一种新形式的软件开发工具,并因其自动化功能而越来越多地被开发人员采用。在本文中,我们介绍了 DEPBENCH,这是一个基准测试,由跨越 5 个语言社区的 5 个软件包生态系统的 203 个现实世界依赖项升级任务组成,每个任务都涉及需要源代码调整的隐藏代码级更改。我们在DEPBENCH上评估了主流的编码智能体。最好的完成配置仅解决了 104/203 项任务 (51.2%),代理工具、模型和生态系统之间存在很大差异,凸显了当前代理功能与实际软件维护需求之间的重要差距。