论文

每个视图都很重要:多视图全景分割的视图一致的全景质量

Every View Counts: View-Consistent Panoptic Quality for Multi-view Panoptic Segmentation

模型评测评测方法与指标

摘要

多视图全景分割将语义类和场景级实例 ID 分配给无序图像集的每个像素,并且最近的前馈 3D 模型在单个前向传递中预测输入视图的这些标签。然而,他们的预测是使用从每个场景优化方法借用的场景级 PQ (PQ^scene) 进行评估的,通常是在渲染的留出视图上。 PQ^scene 将场景的所有视图平铺到单个图像中,因此错过的出现或 ID 的更改只会按照其面积的比例降低匹配对的分数。我们提出视图一致全景质量(VC-PQ),它将 PQ 从单个图像扩展到一组输入视图,对实例可见的每个视图进行同等计数,并惩罚在与其真实值相同的视图中不可见的预测。 VC-PQ 的分解将方法损失的分数归因于掩模准确性、视图一致性和匹配阈值。单个附加参数恢复平铺的面积权重以进行比较。在 ScanNet++ 和 ScanNetv2 的固定评估协议下,使用 VC-PQ 和 PQ^scene 评估最近的前馈方法,并且分解显示了它们中的每一个在哪里失去了分数。对真实情况的受控扰动表明 VC-PQ 响应实例丢失或更改 ID 的视图数量,而 PQ^scene 响应其区域。这项工作的目的是使视图一致性成为多视图全景分割评估的一部分,同时报告 VC-PQ 和 PQ^scene。

每个视图都很重要:多视图全景分割的视图一致的全景质量的原论文方法或结果图
图 1:(a) 多视图全景分割:场景的每个视图都标有类和场景级实例 ID。 (b) 三个视图输入集的玩具示例:橙色球仅在其显得较大的视图中进行预测,因此 PQ${}^{\text{scene}}$ 按面积匹配它,而 VC-PQ 计算两个错过的视图并使其不匹配。