Spec2Vision：人工智能生成的计算机视觉管道的合同引导交付

生成的计算机视觉代码可以在不满足下游评估器强制执行的任务合同的情况下运行。我们使用 Spec2Vision 研究这一差距，Spec2Vision 是一个实验框架，用于通过分阶段运行时生成和评估基于规范的 CV 管道包，该运行时使任务契约在合成、筛选、测试和有界修复中保持明确。该基准测试针对 850 次主要运行评估了 17 个 CV 任务、10 个可执行条件以及每个任务条件单元 5 次重复。在主要的 850 次运行评估中，Spec2Vision 达到了 81/85 的评估者测试通过率；移除结构修复降至 55/85，兼容性脚手架降至 58/85，生成器预检降至 39/85。可执行的单代理基线向模型公开了逐渐丰富的任务规范，最终导致直接源规范公开，但总体而言仍然较弱，从轻量级任务基础的 17/85 到评估者测试通过的 35/85。尽管如此，轻量级基线在 85/85 次运行中仍保持核心可运行，但仅达到 17/85 的评估者测试通过率和 6/85 的严格交付成功率，这表明可运行性并不等于交付。在这个基准测试中，最有力的证据来自于在分阶段生成、检查和修复过程中保持任务契约的明确性。提供工件来支持对运行包、模型可见输入和派生表的审计。