跨 LLM 开发代理的规范可移植性:规范驱动的软件迁移中的跨代理兼容性
Specification Portability Across LLM Development Agents: Cross-Agent Compatibility in Specification-Driven Software Migration
摘要
本文研究了使用 Oracle 到 PostgreSQL 迁移作为受控软件转换任务的跨代理规范可移植性。该研究结合了两个实验阶段。首先,在 1,006 个 PL/SQL 文件上评估了规范优先的迁移管道,其中 623 个已成功重新生成,380 个生成的脚本在 PostgreSQL 16 中成功执行。其次,使用 Amazon Kiro、Google Gemini 和 GitHub Copilot 对 1,802 个 Oracle 脚本以及相应 PostgreSQL 实现的数据集进行了跨代理实验,初始单代理评估中包含 Claude Code 和 Cursor。使用 Token F1、精确匹配、SQL 语法有效性、AST 精确匹配、AST 平均相似度和立即运行性来评估本地和外国规范。结果表明,规范大小本身并不能预测实现质量,并且跨代理传输可能会产生大量的代理依赖性降级。最强的复制案例发生在 Gemini 直接使用 Kiro-origin 规范时,产生的 Token F1 为 0.035,SQL 语法有效性为 2.33%,AST 平均相似度为 0.015。在测试配置中重写大大改进了 Gemini,压缩并没有提供普遍的好处,而检索增强摄取是 Gemini 和 Copilot 的每个智能体帕累托边界上唯一常见的策略。研究结果表明,异构 SDD 工作流程中的规范不应自动被视为代理中立的工件,并会促使人们在多代理软件工程中明确考虑规范的可移植性、代理特定的解释和基于检索的访问。