COBOL 到 Python 现代化的确定性与 LLM 控制的编排

由于缺乏专业知识、庞大且长期存在的代码库以及严格的正确性要求，对遗留 COBOL 系统进行现代化改造仍然很困难。最近基于 大语言模型 (LLM) 的现代化系统越来越依赖于代理工作流程，其中模型控制多步骤工具执行。然而，目前尚不清楚将执行控制委托给 LLM 是否可以提高结构化软件工程工作流程的正确性、稳健性或效率。我们提出了一项针对 COBOL 到 Python 现代化的确定性和 LLM 控制编排的受控实证研究。使用统一的实验框架，我们保持语言模型、提示、工具、配置和源程序不变，而仅改变执行控制策略。这将编排隔离为唯一的实验变量。我们使用功能正确性、重复随机运行的鲁棒性和计算效率来评估这两种方法。在多个模型中，确定性编排可实现与 LLM 控制的编排相当的计算精度，同时提高最坏情况的稳健性并减少运行期间的性能变化。确定性执行还可将词元消耗减少高达 3.5 倍，从而大幅降低运营成本。这些结果表明，在具有显式验证阶段的结构化现代化工作流程中，固定执行策略提供比完全代理编排更稳定且更具成本效益的行为，而不会降低翻译质量。