COCOTree：开放树结构视觉分解的数据集和基准

我们形式化并启用开放树分解的任务，它将图像分割成具有不受约束的粒度和灵活性的视觉组件的分层树。具体来说，我们通过以下三个关键贡献为这种新范式提供了基础基准。首先，我们通过开发完全自动化的生成管道来克服手动注释的高认知和物理瓶颈，该管道将大型视觉语言模型 (LVLM) 的语义推理与 SAM 3 的精确几何基础相结合。其次，利用该管道，我们构建了 COCOTree，这是一个包含超过 21K 图像和 180 万个结构节点的大规模基准。通过包含超过 3500 个独特标签的开放词汇空间，它成功捕获了复杂物理组件的长尾分布。值得注意的是，严格的人类评估证实我们生成的注释与人类结构判断具有很强的一致性。第三，我们通过提出开放树质量（OTQ）指标建立标准化评估协议，联合评估掩模精度、标签准确性和结构一致性。我们在 https://github.com/melonkick3090/COCOTree 发布了我们的数据集和基准代码。