论文

纹理证据位于 SAM 中的什么位置?特征、建议蒙版和纹理分割

Where Does Texture Evidence Live in SAM? Features, Proposal Masks, and Texture Segmentation

模型评测模型行为与机制分析

摘要

纹理分割强调基础分割,因为有意义的区域是由材料或重复外观而不是对象身份定义的。默认情况下,分段任意模型 (SAM) 在此类纹理定义的分区上通常会失败,但这种失败是不明确的:纹理证据可能不存在、提案库中缺失,或者存在但被以对象为中心的读出错误地选择或组装。我们询问在适应之前冷冻 SAM 中已经保存了哪些与纹理相关的证据。我们研究两个冻结的证据空间:多尺度特征,用最小聚类读数进行探测,以及自动提案库,作为监督合并读数的证据。 SAM 全程冻结;我们不会微调骨干网或重新训练提案生成器。跨越 RWTD、STLD、ADE20K 选择的精细裁剪补充和 ControlNet 缝合的 PTD 桥存档,冻结 SAM 默认情况下不是纹理分段器,但它的失败并不是简单的纹理失明。粗略的冻结特征保留了纹理组织,并且提案库通常包含纹理对齐的掩模或片段。自然场景通常需要对片段进行组装和承诺,而更清晰的合成案例通常会减少选择已经连贯的提案。因此,默认掩码失败应分解为表示证据、提案库支持、读出不匹配和承诺失败。