稳健失败、保守修复：从跨模型失败中蒸馏文本知识

基于失败的文本知识蒸馏旨在通过检查模型的任务错误来发现其知识缺口。蒸馏得到的知识对该模型（源模型）和其他模型的推理都可能有用。然而，这种知识迁移可能并不稳定。我们定义规则原子（rule atom）为在推理时注入模型文本输入的独立规则。规则原子可以编码可迁移的任务知识，也可能编码会混淆其他模型的模型特定推理补丁。此外，注入的规则原子可能被误用于无关案例，导致模型基于无关信息错误地翻转答案。在一个把训练样本蒸馏为辅助模型推理的任务专用小抄（cheat sheets）的流水线基础上，我们考察失败衍生的规则何时能改进这些小抄。早期实验表明，从单一模型的失败中蒸馏规则在非源模型家族上表现低于基线小抄。这促使我们提出 Robust Failure, Conservative Repair（RFCR），一种文本蒸馏流程：从跨模型共享的失败中推导规则，利用边界案例收紧其适用边界，并在找不到有用规则时选择回避。在 400 题 BIG-Bench Hard 任务集上，RFCR 将基线小抄从 68.50% 提升至 71.25%（+2.75 个百分点；95% CI [+1.25, +4.50]），且先前正确的案例没有性能退化。消融与跨模型诊断支持准确率增益同时来自新知识注入与严格的规则应用控制。