CASPER-更改感知切片优先级，用于基于 LLM 的系统的高效回归测试

基于 LLM 的系统的回归测试提出了独特的挑战，因为各个回归实例提供的有关系统级回归的信息有限。单个实例中的失败并不一定表明有意义的回归或提供足够的信息来诊断受影响的行为。相反，仅根据整体系统性能变化来检测回归过于粗粒度，因为它无法识别哪些行为受到影响。这促使通过测试套件切片在中间级别分析回归实例。为了应对这一挑战，我们提出了 CASPER，这是一种变化感知切片优先级框架，用于对基于 LLM 的系统中的提示级和模型级变化进行有效的回归测试。 CASPER 首先使用进化切片识别方法识别包含具有一致性能特征的语义相关实例的回归切片。鉴于对基于 LLM 的应用程序的更改，CASPER 使用从执行日志中提取的行为信息，根据切片的回归可能性来确定切片的优先级。我们在软件问题解决领域实例化 CASPER，并根据基于聚类的基线评估切片识别，并根据随机排名基线回归切片优先级。结果表明，CASPER 生成更一致的切片，同时保持可比或更好的语义一致性，并改进了不同基于 LLM 的系统更改和测试预算的回归切片优先级。