代理编码系统的运行时结构化任务分解

代理编码系统越来越多地使用 大语言模型 (LLM) 来执行软件工程任务，例如调试、根本原因分析和代码审查。然而，许多现有系统在整体提示内编码任务逻辑、执行流程和输出生成。这种设计会产生脆弱的行为、有限的可调试性和高昂的重试成本，因为失败通常需要重新运行整个工作流程。我们提出了运行时结构化任务分解，这是一种架构方法，其中任务分区和执行流是通过可执行控制逻辑而不是单独的提示结构来管理的。 LLM 仅用于重点判断任务，并且在下游执行之前根据预定义模式验证输出。我们使用三种配置在两种软件工程工作负载上评估这种方法：整体执行、具有固定子任务且无运行时分支的静态分解以及运行时结构化分解。每个配置都经过 10 次运行进行评估。我们的结果表明，单独分解并不一定会降低重试成本。在 Kubernetes 根本原因分析工作负载中，静态分解基线产生的重试成本为 1,632 +/- 145 个词元，而整体基线为 904 +/- 17 个词元，因为故障会迫使下游子任务重新运行。多文件调试工作负载中也出现了类似的模式，其中静态基线消耗了 933 个词元，而单体系统消耗了 703 个词元。运行时结构化方法仅重新运行失败的子任务，将用于根本原因分析的重试成本降低至 436 +/- 132 个词元，用于调试的重试成本降低至 460 个词元。总体而言，该方法的重试成本比单片系统降低了 51.7%，比静态分解基线降低了 73.2%，从而提高了代理编码系统的效率、可调试性和操作可靠性。