论文
FragileFlow:对基础模型鲁棒性的正确但脆弱预测的频谱控制
FragileFlow: Spectral Control of Correct-but-Fragile Predictions for Foundation Model Robustness
摘要
LLM 和 VLM 的鲁棒适应性通常通过扰动下的平均精度或平均一致性来评估。然而,这些平均值可以隐藏结构化故障模式:预测可能保持正确,而概率质量已经从特定的真实类别流向决策边界附近系统性错误的竞争对手。在本文中,我们将这种现象形式化为边缘感知错误流,并引入了 FragileFlow,这是一个插件正则化器,它使用校准的边缘缓冲区来识别正确但脆弱的预测,并将其类外概率质量组织成按类别的脆弱风险矩阵。理论上,我们为这个边缘感知误差流对象提供了第一个 PAC-Bayes 上限,展示了经验谱控制如何在稳定条件下产生确定性最差鲁棒性的保守途径。对多项选择 LLM 基准和小样本 CLIP 适应的实验表明,FragileFlow 在匹配的基线上持续改进了所提出的面向理论的风险度量,在大多数设置中产生扰动的最差类别精度增益,并在比较中保持干净的精度。