自主分析Agent的新息残差审计：定位、检测极限、误差控制与可识别性

自主代理现在执行整个数据分析任务，选择样本、连接表和拟合模型，几乎无需步进式监督。当这样的分析结果错误时，必须确定哪个操作导致了错误。最近的一个方法不依赖任何标记的错误，而是从已知正确的分析中学习，并突出偏离预期模型预测的操作；关于这些审计的可靠性尚未进行研究。本文提供了这种分析。选择分数决定了是否可以定位错误。如果每个操作都根据其前一个操作的意外性评分，那么那些仅仅继承了先前错误的操作与正确的操作无异，因此只有一个错误会产生一个标志；而使用更长重建的预期分析计算评分，则会将单个错误分散到多个操作中。我们量化它们如何扩散，并如何选择比较长度，当错误逐渐积累而不是一次性时。然后我们给出控制在一个审计分析中虚假标记操作比例的程序，只要已知分析是可交换的，而不要求拟合模型正确；并量化当模型不准确或分析被选为审查时，内容依赖的方式时，保证削弱的程度。最后，我们建立一个限制，任何这样的审计报告：低于某个阈值的错误无法定位，因为它们与普通变异中的正常分析无异。这个限制随着更多的正常分析收集而变得如此缓慢，以至于在现在使用的表示大小下，一百倍的增长减少了它不到百分之一，因此表示尺寸而不是训练数据量是约束条件。