论文

FROST:具有冻结特征和非参数统计的 无需训练 少样本分割

FROST: Training-Free Few-Shot Segmentation with Frozen Features and Nonparametric Statistics

应用与实践视觉感知与空间理解

摘要

少镜头分割要求模型仅从少数带注释的示例中描绘出查询图像中的目标类别,这是遥感中最尖锐的设置,其中标签稀缺,并且图像与视觉骨干预训练的自然图像截然不同。流行的方法要么在标记的情节上训练分段器,这提高了训练分布内的准确性,但将模型绑定到它,要么将每个类减少为冻结特征、单个原型、几个集群原型或离散集群的有损摘要,其中没有一个保留多模式类的内部结构。我们认为,通过分布比通过点更好地描述类,并且冻结的自监督特征已经具有足够的结构来直接估计该分布。我们引入了 FROST,一种 无需训练 少样本分割器,它将参考前景和背景视为冻结 DINOv3 特征的单位球上的两个点云,并通过非参数密度比标记每个查询标记,贝叶斯规则在相同先验下将阈值固定为零。由于密度估计的方差随着样本的增长而缩小,因此随着参考的积累,决策会变得更加尖锐,并且从内核带宽到空间门的每个剩余数量都是从支持集中读取而不是调整。我们为俯视图像开发 FROST,其中一个类通常是许多小且不同的实例的分散体,密度跟踪但有损摘要模糊。在 17 个遥感基准测试中,FROST 超越了 无需训练 和基于学习的方法,在单个带注释的示例中领先 5.6 mIoU,并随着支持集的增长而扩大领先优势,同时仍然是比较中最小的模型之一。代码可在 https://github.com/jhpark-ai/FROST 获取。