打破模型来测试判断：域类图语义评估器的变异测试方法

在软件工程中，许多语义建模任务缺乏独特的 真值，因为人类的判断既昂贵又主观。本文探讨了突变测试作为评估模型语义判断（例如，基于 LLM）的可扩展替代方案。我们提出了一种突变测试方法，其中受控语义缺陷被注入到域类图中。从一对 PlantUML 类图和文本系统描述开始，我们应用变异算子（例如，删除一个类）来生成错误的变体。然后根据候选判断者检测注入缺陷的能力对其进行评估。我们定义了 11 个变异运算符，用于将域类图与文本描述进行比较，并根据传统的手动判断有效性评估来评估所提出的方法。在六个判断配置（三个 LLM 和两个提示变体）中，自动突变测试方法在识别性能更好的配置方面与手动评估基本一致。结果表明，突变测试可以作为分析语义判断的可扩展代理。