CANIS：通过图像语义桥进行生成辅助 3D 规范化

规范化 3D 面向对象是 3D 理解和分析的基础。尽管 3D 规范化最终需要语义上有意义的方向，但现有方法通常依赖于几何线索。为了解决这一差距，我们提出了 CANIS，这是一种与类别无关的生成辅助框架，它将冻结图像到 3D 生成模型的语义定向先验引入到 3D 标准化中，而无需标准化特定的训练或特定于类别的模板。具体来说，CANIS 首先从候选视点渲染输入对象，选择信息丰富的视图，并生成规范方向的代理。在生成过程中，从输入编码的稀疏结构潜在信息指导代理保留对象的几何形状。然后 CANIS 使用所选图像作为输入和代理之间的语义桥梁。图像补丁识别代理上的语义区域，深度反投影定位输入上的相应区域。由此产生的语义锚约束几何匹配，从中我们估计规范化输入的刚性变换。综合基准​​实验验证了 CANIS 及其关键组件，而部分观察和 OmniObject3D 的定性结果表明其适用于不完整和真实世界的扫描。 CANIS 还改进了下游 3D 分类、零件分割和任意旋转下的密集对应。项目页面：https://kenkenzaii.github.io/Canis。