论文
DeCoDrift:稳定闭环基础分割中的解码器耦合
DeCoDrift: Stabilizing Decoder Coupling in Closed-Loop Foundation Segmentation
摘要
诸如分段任意模型 (SAM) 之类的基础分段模型现在通常用于迭代管道,其中每个预测掩模都会作为下一个提示进行反馈。这种做法将分段转变为闭环动态过程,但这些系统的解码器级行为在很大程度上仍未得到检查。我们表明,这种反馈循环可能会引起以前被忽视的故障模式,即解码器耦合漂移,其中掩模解码器的交叉注意力逐渐失去与目标对象的对齐,导致错误在迭代中累积。我们通过检测 SAM 的掩模解码器并推导即时图像耦合、注意力稳定性和时间一致性的 真值-free 测量来研究这种现象。在体积电子显微镜数据上,这些解码器内部信号表明,相对于预言机锚定反馈,标准迭代提示系统地降低了注意力对齐和时间连贯性。然后,我们将迭代提示形式化为离散时间动态系统,并展示近端锚定如何减少反馈环路中的误差放大。在此分析的基础上,我们引入了 DeCoDrift,这是一种 无需训练 推理时间稳定框架,可限制即时更新并保留迭代间的解码器耦合。在广泛的实验中,DeCoDrift 相对于标准迭代提示不断提高注意力稳定性、时间连贯性和分割质量,无需重新训练或 真值 监督。更广泛地说,我们的结果表明,解码器内部动态不仅仅是诊断性的:它们提供了可操作的信号,用于稳定闭环使用中的基础分割模型。