AIChilles：自动发现人工智能进化系统中隐藏的弱点

计算机系统社区最近对人工智能驱动的系统进化越来越感兴趣，其中人工智能代理迭代地重写系统。 AdaEvolve 和 Engram 等框架的得分比人类设计的算法提高了 12-60%。虽然这些结果很有希望，但如果这些人工智能演进的程序在未见过的工作负载上表现更差并表现出可扩展性回归，那么就会存在实际问题。考虑到人工智能生成代码的速度和规模，我们需要自动化机制来发现人工智能进化系统程序中隐藏的弱点。为此，我们开发了 AIChilles，它以基线程序 $P$ 和 AI 进化程序 $P'$ 作为输入，AIChilles 搜索有效的工作负载，其中 $P'$ 在正确性、运行时间、内存使用或输出质量方面相对于 $P$ 有所回归。为了解决系统应用程序、弱点类型和潜在错误的多样性，AIChilles 结合了确定性工作负载参数提取、基于代理的约束推理、差分预言和代码频率覆盖来发现各种故障。在 5 个系统应用程序和 30 个人工智能进化程序中，AIChilles 发现了 49 个明显的隐藏弱点。我们还表明，将 AIChilles 明确纳入人工智能驱动的开发生命周期可以缓解其中的一些弱点。