TestMap：基础模型辅助测试生成的证据基础设施

基础模型 (FM) 可以生成看似合理的单元测试，但确定这些测试是否正确、有用、可维护且值得集成仍然很困难。生成的测试必须映射到它们的目标代码，插入到实际项目中，构建、执行、根据基线套件进行测量、必要时进行修复，并在模型和生成策略之间进行比较。该验证过程分散在构建系统、测试运行器、覆盖工具、突变工具、静态分析器和实验脚本中。这个问题尤其重要，因为生成的测试既是代码工件又是验证工件：它们本身必须经过验证，然后才能被信任作为有关被测系统的证据。本文介绍了 TestMap，这是一个开源基础架构原型，可自动为 C#/.NET 存储库生成有证据支持的基础模型辅助测试。 TestMap 支持存储库分析、源测试映射、基线执行、代码度量收集、测试气味检测、覆盖率测量、突变测试、模型引导的测试生成、验证、修复和存储库特定的实验跟踪。 TestMap 不是只报告最终通过的测试，而是记录每个生成的候选者的生命周期，包括失败、修复、低影响和证据积极的结果。这些中间结果可以揭示模型的局限性、上下文缺失、修复成本、工具链效率低下或被测系统中可能存在的故障。使用 TestMap 作为设计案例，我们描述了使生成的测试在存储库、模型、提示和生成策略之间可观察、可重复和可比较所需的架构和证据模型。我们总结了经验教训和开放挑战，包括预言和断言质量、度量归因、测试可维护性、脆弱性、执行成本和开发人员接受度。