Transformer 架构的分层故障检测和诊断

Transformer 现在支撑整个行业和研究的关键人工智能系统。然而，它们的错误可以悄无声息地改变模型行为，而不会出现运行时错误，并且现有技术几乎无法支持追踪这些故障的组件和根本原因。此类故障逃避检测，因为丢失和数值保持正常，并且可见的症状很少识别出负责的组件。我们提出 DEFault++，一种基于分层学习的技术，首先检测故障，然后识别受影响的组件，最后识别其中的原因，帮助开发人员有效调试 Transformer 模型。 DEFault++ 使用故障传播图 (FPG)（架构依赖路径的结构先验）组织组件级运行时测量，并报告每个诊断背后的证据。为了训练和评估它，我们构建了 DEFault-bench，这是一个由 7 个模型、9 个任务以及编码器和解码器架构的突变测试进行的 5,556 次标记运行的基准。 DEFault++ 相对于四种现有技术改进了故障检测，F1 达到 0.826--0.909，并且在一项有 21 名参与者参与的开发人员研究中，它将修复准确率从 57.1% 提高到 83.3%。这些结果表明，Transformer 故障诊断受益于组件级测量和架构感知推理，而不仅仅是模型级行为，DEFault-bench 为 Transformer 故障诊断的进一步研究提供了基础。