全部绿色，但仍然破碎：LLM 集成的多市场 Web 应用程序的实际流程验证经验教训

现代 Web 应用程序越来越多地结合了三个难以测试的成分：大语言模型 的输出、多市场国际化以及通过外部数据源的浏览器驱动的前端。我们报道了一个生产租赁搜索助理，其自动化套件在六周内增长到 1,553 个测试用例。该套件不断通过，但面向用户的缺陷继续出现在生产中。我们研究了项目中所有 252 个错误修复提交，并按其逃逸的边界或接缝对每个提交进行了分类。大约 44% 的修复属于组件级单元测试无法观察到的四个接缝：实时浏览器运行时、非默认市场、端到端流程和整个系统级别。接缝处没有防护装置的修复让一个缺陷船两次。我们介绍了四接缝框架、测量的缺陷分布以及我们采用的实践，包括团队找到修复次数最多的接缝的简单方法。