SpecPath：跨合同等效规范历史测试 编码智能体

现代 编码智能体 似乎越来越能够满足复杂的软件需求，但它们的成功留下了一个严重的模糊性：它们是否解决了活动规范，或者仅仅遵循其所陈述的最显着的路径？我们确定了规范路径敏感性，这是一种故障模式，其中最终含义相同的需求历史导致相同的代理系统产生行为不同的程序。这将不断发展的需求评估重新定义为主动合同解决方案：在编写代码之前，代理必须确定哪些需求仍然重要。在此观点的基础上，我们引入了 SpecPath，这是一种诊断评估，可以固定存储库、最终合约、验证者、代理系统和执行预算，同时仅更改导致合约的修订路径。 SpecPath 没有将每个补丁视为孤立的通过或失败，而是使用成对的可执行结果来揭示代理是否在合约等效历史中实现了相同的测试行为。在五个校准的软件任务和十四个编码代理配置中，总体直接和修订历史准确性几乎没有变化；然而，在直接规范上成功的 100 个完整块中，有 35 个在至少一个等效历史上失败了。这些结果表明，合并请求的成功实现并不能保证规范路径不变性。因此，评估不断变化的需求需要进行受控测试，以确定代理在规范最终确定的过程中是否稳健。